[論文レビュー] A Witness Two-Sample Test

Jonas M. Kübler, Wittawat Jitkrittum+2 more|arXiv (Cornell University)|Feb 10, 2021

Machine Learning in Materials Science被引用数 2

ひとこと要約

本稿では、訓練データから最適な1次元のウェッジ関数を学習して検定力の最大化を図り、その後パーミュテーションに基づくp値を用いて推論を行う、二段階のノンパラメトリックな仮説検定であるWitness Two-Sample Test (WiTS)を提案する。この手法は、合成データおよび実世界のデータ（ヒッグスボソンデータセット含む）において、MMDおよび分類ベースの検定を上回る性能を発揮し、ウェッジ関数の共同最適化と過学習を避けるためのデータの効率的利用を実現する。

ABSTRACT

The Maximum Mean Discrepancy (MMD) has been the state-of-the-art nonparametric test for tackling the two-sample problem. Its statistic is given by the difference in expectations of the witness function, a real-valued function defined as a weighted sum of kernel evaluations on a set of basis points. Typically the kernel is optimized on a training set, and hypothesis testing is performed on a separate test set to avoid overfitting (i.e., control type-I error). That is, the test set is used to simultaneously estimate the expectations and define the basis points, while the training set only serves to select the kernel and is discarded. In this work, we propose to use the training data to also define the weights and the basis points for better data efficiency. We show that 1) the new test is consistent and has a well-controlled type-I error; 2) the optimal witness function is given by a precision-weighted mean in the reproducing kernel Hilbert space associated with the kernel; and 3) the test power of the proposed test is comparable or exceeds that of the MMD and other modern tests, as verified empirically on challenging synthetic and real problems (e.g., Higgs data).

研究の動機と目的

• 既存のMMDベースの二標本検定がカーネル選択後に訓練データを捨ててしまうという点に起因するデータ効率の低さを是正すること。
• 事前に指定されたあるいは最適化されたカーネルに依存するのではなく、問題固有のウェッジ関数を学習することで検定力を向上させること。
• 理論的裏付けがあり、一貫性のある検定を提供し、第1種誤りを良好に制御するとともに、検定統計量の漸近正規性を確保すること。
• 二標本検定において、標準的な機械学習手法を用いた関数クラスの選択およびハイパーパrameterチューニングを可能にすること。
• 実験的に、ウェッジ関数の学習がカーネルの学習を上回る検定力を達成できることを、挑戦的なベンチマークで示すこと。

提案手法

• WiTS検定は、訓練セット上で検定力基準を最大化することでウェッジ関数を学習し、再生核ヒルバート空間（RKHS）における精度重み付き平均を用いる。
• ウェッジ関数は、適合性と滑らかさのバランスを取る正則化最適化問題の解として定義され、一般化を保証する。
• 検定統計量は、二つの検定セット上で評価されたウェッジ関数の標本平均の差であり、帰無仮説および対立仮説の下で漸近的に正規分布に従う。
• 帰無分布はパーミュテーションテストによって近似され、独立な検定セットを必要とせず、第1種誤りの有効な制御が保証される。
• カーネル最適化後にウェッジ関数を学習することで、深層カーネルMMDへの拡張が可能となり、ウェッジのエンドツーエンド学習が可能になる。
• このフレームワークは一般性に富み、カーネルに限定されない任意の関数クラスに適用可能であり、分類や回帰ツールとの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 訓練データから1次元のウェッジ関数を学習することで、カーネル最適化を施した標準的なMMDと比較して検定力が向上するか？
• RQ2 ウェッジに基づく二標本検定は、高い統計的検定力と併せて、良好に制御された第1種誤りを維持できるか？
• RQ3 実世界および合成データにおいて、最適化されたカーネルを用いたMMDおよび分類ベースの二標本検定と比較して、WiTS検定はどのように性能を発揮するか？
• RQ4 特に高次元または大規模な設定において、ウェッジ関数は効率的かつスケーラブルに学習可能か？
• RQ5 WiTSフレームワークは、現代の深層カーネル手法や他の関数クラスと互換性を持つか？

主な発見

• ヒッグスボソンデータセットにおいて、WiTS検定は最適化された深層カーネルMMD（opt-mmd-witness）を上回る高い統計的検定力を達成しており、特に中程度の標本サイズで顕著である。
• 合成データのBlobsデータセットでは、WiTS手法（例：opt-mmd-witness）がopt-mmd-bootおよび他のベンチマークを、さまざまなデータ分割比において上回った。
• 合成および実世界のベンチマーク、特に1クラスあたり1,000件を超える標本を持つヒッグスデータセットにおいて、ウェッジベースのアプローチは、ベースラインのMMDおよび分類ベースの検定（例：C2ST）を一貫して上回った。
• 訓練データからウェッジを学習しても、パーミュテーションに基づく帰無分布推定により、第1種誤り率が良好に制御された。
• 最適なウェッジ関数が数学的にRKHSにおける精度重み付き平均として示され、原理的根拠を持つ学習目的関数が得られた。
• スケーラブルなフレームワークである：500個の中心点を用いたNyström近似により、計算コストを削減しながらもヒッグスデータセットで高い性能を達成した（kfda-witness）。