[論文レビュー] The Exact Equivalence of Independence Testing and Two-Sample Testing

Cencheng Shen, Carey E. Priebe+1 more|arXiv (Cornell University)|Oct 20, 2019

Spectroscopy and Chemometric Analyses被引用数 12

ひとこと要約

本稿では、グループラベルを補助変数として扱うことで、2標本検定と独立性検定の正確な同等性を確立し、母集団、標本、およびパーミュテーションに基づくp値において、距離相関とエナジー統計量が数学的に同一であることを証明する。この結果により、分布の等価性の検定に普遍的に独立性検定を適用できるようになり、解釈可能性と効率性が向上する。

ABSTRACT

Testing independence and testing equality of distributions are two tightly related statistical hypotheses. Several distance and kernel-based statistics are recently proposed to achieve universally consistent testing for either hypothesis. On the distance side, the distance correlation is proposed for independence testing, and the energy statistic is proposed for two-sample testing. On the kernel side, the Hilbert-Schmidt independence criterion is proposed for independence testing and the maximum mean discrepancy is proposed for two-sample testing. In this paper, we show that two-sample testing are special cases of independence testing via an auxiliary label vector, and prove that distance correlation is exactly equivalent to the energy statistic in terms of the population statistic, the sample statistic, and the testing p-value via permutation test. The equivalence can be further generalized to K-sample testing and extended to the kernel regime. As a consequence, it suffices to always use an independence statistic to test equality of distributions, which enables better interpretability of the test statistic and more efficient testing.

研究の動機と目的

• 2標本検定と独立性検定の間の概念的・手法的ギャップを解消すること。
• 補助ラベルベクトルを用いることで、2標本検定が独立性検定の特殊ケースであることを示すこと。
• 距離ベースとカーネルベースの統計量を、分布の等価性検定において統一すること。
• 距離相関とエナジー統計量が、すべての統計的側面で正確に同等であることを示すこと。
• すべての分布の等価性問題を独立性検定に還元することで、より解釈可能で効率的な検定を可能にすること。

提案手法

• 補助ラベルベクトルを導入し、2標本検定を独立性検定の問題に変換する。
• 帰無仮説下で、母集団レベルの距離相関統計量とエナジー統計量が等しいことを証明する。
• 標本レベルの検定統計量として、距離相関とエナジー統計量の同等性を確立する。
• パーミュテーションに基づくp値が両統計量において同一であることを実証する。
• 同等性をK標本検定およびHSICやMMDのようなカーネルベースの手法へと拡張する。
• 理論的分析を用いて、独立性検定が2標本検定を一般性を失わず包含できることを示す。

実験結果

リサーチクエスチョン

• RQ1 特定の変換の下で、2標本検定は独立性検定の特殊ケースであるか？
• RQ2 距離相関とエナジー統計量は、母集団および標本レベルの統計量において同一か？
• RQ3 距離相関とエナジー統計量のパーミュテーション検定からのp値は、正確に同一か？
• RQ4 距離ベースの統計量間の同等性は、HSIC や MMD のようなカーネルベースの手法へ拡張可能か？
• RQ5 同等性により、分布の等価性検定における解釈可能性と効率性を向上させる統一的フレームワークが可能か？

主な発見

• 2標本検定は、2つの標本を区別する補助ラベルベクトルを導入することで、形式的に独立性検定と同等である。
• 母集団レベルの距離相関統計量は、数学的にエナジー統計量と同一である。
• 標本レベルの距離相関統計量とエナジー統計量の検定統計量は、正確に等しい。
• 両統計量のパーミュテーションに基づくp値は同一であり、実用上も同等性が確認された。
• 同等性はK標本検定へも拡張され、複数標本の分布の等価性検定が独立性フレームワークの下で統一された。
• カーネルベースの類似統計量であるHSICとMMDに対しても同様の同等性が成立し、距離法とカーネル法の両方を統合するアプローチが可能になった。