[論文レビュー] Fast Two-Sample Testing with Analytic Representations of Probability Measures

Kacper Chwialkowski, Aaditya Ramdas+2 more|arXiv (Cornell University)|Jun 15, 2015

Gaussian Processes and Bayesian Inference被引用数 73

ひとこと要約

本稿では、確率測度の解析的表現を活用することで、線形時間計算量を持つ高速かつ一致性を有する2標本検定を2つ提案する。具体的には、滑らか化された経験的特徴関数と再生核ヒルバート空間（RKHS）における解析的平均埋め込みを用いる。これらの検定は、パワーと計算コストのトレードオフにおいて優れた性能を発揮し、特に高次元や微細な分布差が生じる状況において、線形時間非パラメトリック検定や高コストな2次時間計算量法（例：MMD）を凌駕する。

ABSTRACT

We propose a class of nonparametric two-sample tests with a cost linear in the sample size. Two tests are given, both based on an ensemble of distances between analytic functions representing each of the distributions. The first test uses smoothed empirical characteristic functions to represent the distributions, the second uses distribution embeddings in a reproducing kernel Hilbert space. Analyticity implies that differences in the distributions may be detected almost surely at a finite number of randomly chosen locations/frequencies. The new tests are consistent against a larger class of alternatives than the previous linear-time tests based on the (non-smoothed) empirical characteristic functions, while being much faster than the current state-of-the-art quadratic-time kernel-based or energy distance-based tests. Experiments on artificial benchmarks and on challenging real-world testing problems demonstrate that our tests give a better power/time tradeoff than competing approaches, and in some cases, better outright power than even the most expensive quadratic-time tests. This performance advantage is retained even in high dimensions, and in cases where the difference in distributions is not observable with low order statistics.

研究の動機と目的

• 大規模データ向けに、線形時間計算量を持つ高速かつ一貫性を有する非パラメトリック2標本検定の開発。
• 滑らかでない特徴関数に基づく従来の線形時間検定が一般の代替仮説下で一貫性を欠くという限界を克服すること。
• 解析的表現の単一のランダム評価点を用いることで、一貫性のある検定を実現し、計算コストを低減しつつ統計的パワーを維持すること。
• 特に高次元および複雑な分布差が生じる状況において、MMD やエネルギー距離といった最先端の2次時間計算量法と比較して、パワー/計算コストのトレードオフを改善すること。
• 実世界および合成ベンチマーク（高次元および信号が微弱な差の状況を含む）において、ロバスト性とスケーラビリティを示すこと。

提案手法

• 最初の検定は、滑らか化された経験的特徴関数を解析的表現として用い、分布の差がほぼ確実に単一のランダム周波数で検出可能である。
• 2番目の検定は、再生核ヒルバート空間（RKHS）における解析的平均埋め込みを用い、一様に一意性が保証されるように単一のランダムに選ばれた点で距離を計算する。
• 両手法とも、差が有限のランダムに選ばれた位置で確率1で検出可能であるという解析的性質に依存している。
• 検定は、解析的表現の経験的推定値を用いることで、線形時間計算と定数メモリ使用量を実現する。
• 統計的有意性はパーミュテーション検定により評価されるが、本手法の効率性のおかげでスケーラブルな応用が可能である。
• 本手法は、特徴関数の積分可能であるすべての分布に対して一貫性を保証するという、先行研究の一般化を達成している。

実験結果

リサーチクエスチョン

• RQ1 確率測度の解析的表現を用いることで、2標本検定を一貫性と線形時間計算量の両立が可能か？
• RQ2 滑らか化された特徴関数または解析的平均埋め込みを用いることで、単一の評価点でのみ分布差を一貫して検出可能か？
• RQ3 これらの検定は、高次元および複雑なデータ設定下で、既存の線形時間および2次時間計算量法と比較してパワーと計算効率の両面で優れているか？
• RQ4 低次の統計量では検出できない微細な分布差（例：角運動量や分散のずれ）を検出可能か？
• RQ5 ノイズの影響を受ける状況や、1つの次元でのみわずかな差が生じる高次元データにおいても、本手法は高いパワーを維持できるか？

主な発見

• ヒッグス粒子データセットでは、MMDが2次時間計算量で計算コストが高いため、Smooth CF検定がMMDよりも顕著に高いパワーを達成した。
• ヒッグスデータセットでは、Smooth CF検定は12,000サンプルまで高いパワーを維持したが、MMDは計算制約のため5,100サンプルまでしか実行できなかった。
• ノイズを含む振幅変調音楽データセットでは、Mean Embedding検定とSmooth CF検定が他の手法よりもロバストであり、中程度のノイズ下でも高いパワーを維持した。
• 1つの次元のみが異なる高次元設定では、Mean Embedding検定が他の手法を上回り、特に分散のずれに対して優れた性能を示した。これは、高次元における冗長性を効果的に活用していることを示している。
• 小スケールの分布差が生じる挑戦的であるBloobsデータセットでは、MMDが最も高いパワーを示したが、時間/パワーのトレードオフが最悪であった。一方、提案手法は線形時間法の中で最良のトレードオフを達成した。
• 提案手法は、すべてのベンチマークで一貫した性能を示し、低次の統計量では検出できない複雑な分布シフトに対しても感受性があることを確認した。