[論文レビュー] On the High-dimensional Power of Linear-time Kernel Two-Sample Testing under Mean-difference Alternatives

Aaditya Ramdas, Sashank J. Reddi+3 more|arXiv (Cornell University)|Nov 23, 2014

Statistical Methods and Inference参考文献 16被引用数 7

ひとこと要約

本稿は、高次元設定下における平均シフト代替仮説の下で、線形時間MMD検定のパワーを初めて明示的に特徴付けた。信号対ノイズ比が一定の下で、サンプルサイズnが次元dよりも速く増加する場合、パワーは1に近づくことが示された。解析により、バンド幅が次元に適切にスケーリングされる場合、この検定は高次元でも高いパワーを維持することが判明し、現代のデータ環境におけるノンパラメトリックな二標本適合度検定の堅牢性が裏付けられた。

ABSTRACT

Nonparametric two sample testing deals with the question of consistently deciding if two distributions are different, given samples from both, without making any parametric assumptions about the form of the distributions. The current literature is split into two kinds of tests - those which are consistent without any assumptions about how the distributions may differ ( extit{general} alternatives), and those which are designed to specifically test easier alternatives, like a difference in means ( extit{mean-shift} alternatives). The main contribution of this paper is to explicitly characterize the power of a popular nonparametric two sample test, designed for general alternatives, under a mean-shift alternative in the high-dimensional setting. Specifically, we explicitly derive the power of the linear-time Maximum Mean Discrepancy statistic using the Gaussian kernel, where the dimension and sample size can both tend to infinity at any rate, and the two distributions differ in their means. As a corollary, we find that if the signal-to-noise ratio is held constant, then the test's power goes to one if the number of samples increases faster than the dimension increases. This is the first explicit power derivation for a general nonparametric test in the high-dimensional setting, and also the first analysis of how tests designed for general alternatives perform when faced with easier ones.

研究の動機と目的

• 高次元漸近的設定下における一般化されたノンパラメトリック二標本検定（ガウスカーネルを用いた線形時間MMD）のパワーを、平均シフト代替仮説の下で特徴付けること。
• 一般代替仮説を想定した検定が、より単純で構造的な代替仮説（例えば平均の差）に直面した際の性能を分析すること。
• サンプルサイズnと次元dが両方とも無限大に近づく際の、検定のパワーの明確な漸近的表現を導出すること。
• Berry-Esseenの不等式、正規性の検定統計量、MMDの次元およびバンド幅依存性に関するシミュレーションを通じて、理論的予測の妥当性を検証すること。

提案手法

• U統計量理論と中心極限定理を用いて、平均シフト代替仮説の下での線形時間MMD統計量の漸近的分布を導出する。
• Berry-Esseen定理を適用して正規分布への収束速度の上限を評価し、その上限が次元dに依存しないことを示す。
• 3階までの母集団モーメントを用いて、帰無仮説および対立仮説の下での検定統計量の分散および歪度を導出する。
• 適切に正規化された検定統計量が、帰無仮説の下では標準正規分布に収束し、対立仮説の下では非心パラメータを持つことを確立する。
• ガウス分布およびt分布を用いたモンテカルロシミュレーションを通じて、理論的予測の妥当性を検証する。
• 信号対ノイズ比が一定のとき、パワーが1/√dに比例することを示し、nがdに比例して増加する場合、パワーが一定に保たれることを示す。

実験結果

リサーチクエスチョン

• RQ1 サンプルサイズnと次元dが両方とも無限大に近づく際、線形時間MMD検定のパワーは平均シフト代替仮説の下でどのように振る舞うか？
• RQ2 特にn/dの比に照らして、高次元設定下での検定パワーの正確な漸近的スケーリングは何か？
• RQ3 d → ∞ の下で、平均シフト代替仮説の下でも検定が一貫性を保つのか？もしそうならば、nとdの間のどのような条件下で成立するか？
• RQ4 バンド幅γの選択が検定パワーにどのように影響するか？また、γ = Ω(√d) のとき、そのスケーリングはγに依存しないか？
• RQ5 帰無分布および対立分布の両方が、高次元においてどれほど正規分布に近づくか？

主な発見

• 信号対ノイズ比が一定の下で、線形時間MMD検定（ガウスカーネルを用いる）のパワーはn → ∞ かつnがdよりも速く増加する場合、1に近づく。
• 信号対ノイズ比が一定でnが一定のとき、パワーは1/√dに比例することが確認され、理論的予測が裏付けられた。
• n = d で信号対ノイズ比が一定のとき、dが増加してもパワーはおおよそ一定のままであることが示され、補題1の妥当性が裏付けられた。
• n = d で信号対ノイズ比がd^{1/4}に比例するとき、パワーは√dに比例して増加することが確認され、補題2の妥当性が裏付けられた。
• シミュレーションにより、テスト統計量のBerry-Esseenの上限が、次元や分布にかかわらず概ね一定（約1.65）であることが確認された。これは、重い尾を持つt₄分布に対しても同様に成り立つ。
• 正規化された統計量√n MMD² / √V は、帰無仮説および対立仮説の両方の下で、小さなnに対しても標準正規分布に収束することが示され、正規性への収束が速いことが示された。