[論文レビュー] An Efficient and Distribution-Free Two-Sample Test Based on Energy Statistics and Random Projections

Cheng Huang, Xiaoming Huo|arXiv (Cornell University)|Jul 14, 2017

Statistical Methods and Inference参考文献 11被引用数 7

ひとこと要約

本稿では、ランダム射影を用いて従来のエネルギー統計のO(N²)の計算複雑性をO(KN log N)に低減する、計算効率が良く、分布に依存しない二標本検定であるランダムに投影されたエネルギー統計（RPES）を提案する。この手法は、エネルギー統計とほぼ同一の検出力（statistical power）を維持しながら、大規模または高次元データに対するスケーラブルな検定を可能にする。

ABSTRACT

A common disadvantage in existing distribution-free two-sample testing approaches is that the computational complexity could be high. Specifically, if the sample size is $N$, the computational complexity of those two-sample tests is at least $O(N^2)$. In this paper, we develop an efficient algorithm with complexity $O(N \log N)$ for computing energy statistics in univariate cases. For multivariate cases, we introduce a two-sample test based on energy statistics and random projections, which enjoys the $O(K N \log N)$ computational complexity, where $K$ is the number of random projections. We name our method for multivariate cases as Randomly Projected Energy Statistics (RPES). We can show RPES achieves nearly the same test power with energy statistics both theoretically and empirically. Numerical experiments also demonstrate the efficiency of the proposed method over the competitors.

研究の動機と目的

• 特に大規模または高次元データに対して高い計算複雑性（O(N²)）を示す既存の分布に依存しない二標本検定の課題に対処すること。
• ソートと再配置を用いたO(N log N)の複雑性を実現する一変量エネルギー統計の効率的アルゴリズムの開発。
• ランダム射影を介して多変量データを複数のランダム方向への一変量射影に還元し、その上で手法を拡張することで、計算コストを低減しながら検出力を維持すること。
• RPESと標準的なエネルギー統計との間で漸近的効率が同等であるという理論的裏付けを提供すること。
• シミュレートされたデータを用いた広範な数値実験を通じて、本手法の計算的・統計的効率を実証すること。

提案手法

• ソートと再配置に基づく高速アルゴリズムを提案し、一変量エネルギー統計の計算複雑性をO(N²)からO(N log N)に低減する。
• 多変量データをランダムな方向に沿った複数の一次元射影に縮小するためにランダム射影を適用する。
• 各射影された一次元データセットに対して、高速アルゴリズムを用いてエネルギー統計を計算し、その結果を平均化する。
• RPESの検定統計量をK個のランダム射影におけるエネルギー統計の平均値として定義し、一貫性と検出力を保証する。
• 帰無仮説下での検定統計量の漸近的分布を用いて、仮説検定の臨界値を導出する。
• 理論的結果を活用し、RPESの漸近的分散が標準的なエネルギー統計とほぼ同一であることを示し、これにより同等の検出力が得られることを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 エネルギーに基づく二標本検定の計算複雑性を、一変量設定においてO(N²)からO(N log N)に低減できるか？
• RQ2 ランダム射影を用いることで、多変量二標本検定におけるエネルギー統計の検出力が保持されるか？
• RQ3 検出力と計算効率の観点から、RPESはエネルギー統計およびMMDと比較してどのように性能を発揮するか？
• RQ4 ランダム射影の数（K）が、RPESの統計的検出力と計算コストに与える影響は何か？
• RQ5 重尾分布や高次元分布を含むさまざまな分布仮定下でも、RPESは高い検出力を維持できるか？

主な発見

• 一変量エネルギー統計の高速アルゴリズムはO(N log N)の複雑性を達成し、標準的手法のO(N²)と比較して計算時間を著しく短縮する。
• RPESはエネルギー統計とほぼ同一の検出力を維持しており、理論的および実証的証拠により、分散の漸近的同等性が示されている。
• 多変量スルーティング分布を用いたシミュレーションでは、RPESはMMDを上回り、特に中～大規模なサンプルサイズではエネルギー統計と同等またはわずかに劣る性能を示した。
• 高次元一様分布のシナリオでは、RPESとMMDの性能は同等であり、次元数とサンプルサイズがともに小さい場合にのみRPESがわずかに劣ることが観察された。
• 本手法は効率的にスケーリング可能である：K=10の場合、RPESはほぼ最適な検出力を達成しながらO(KN log N)の複雑性を維持し、大規模データに適した実装が可能である。
• 数値実験により、サンプルサイズが1,000を越えると、RPESはエネルギー統計およびMMDよりも計算的に優れていることが確認された。