[論文レビュー] Two Sample Testing in High Dimension via Maximum Mean Discrepancy

Hanjia Gao, Xiaofeng Shao|arXiv (Cornell University)|Sep 30, 2021

Statistical Methods and Inference参考文献 43被引用数 8

ひとこと要約

本稿は、次元 $p$ と標本サイズ $n, m$ が共に発散する高次元設定におけるMaximum Mean Discrepancy (MMD) を用いた2標本検定のための標準化された検定統計量を提案し、$p$, $n$, $m$ が発散する際の中心極限定理を確立する。この手法は次元が高くなるに従い正規近似の精度が向上し、ガウスカーネルやラプラスカーネルといった一般的なカーネルに対しても有効であり、中程度の高次元領域における検出力について理論的保証を提供する。

ABSTRACT

Maximum Mean Discrepancy (MMD) has been widely used in the areas of machine learning and statistics to quantify the distance between two distributions in the $p$-dimensional Euclidean space. The asymptotic property of the sample MMD has been well studied when the dimension $p$ is fixed using the theory of U-statistic. As motivated by the frequent use of MMD test for data of moderate/high dimension, we propose to investigate the behavior of the sample MMD in a high-dimensional environment and develop a new studentized test statistic. Specifically, we obtain the central limit theorems for the studentized sample MMD as both the dimension $p$ and sample sizes $n,m$ diverge to infinity. Our results hold for a wide range of kernels, including popular Gaussian and Laplacian kernels, and also cover energy distance as a special case. We also derive the explicit rate of convergence under mild assumptions and our results suggest that the accuracy of normal approximation can improve with dimensionality. Additionally, we provide a general theory on the power analysis under the alternative hypothesis and show that our proposed test can detect difference between two distributions in the moderately high dimensional regime. Numerical simulations demonstrate the effectiveness of our proposed test statistic and normal approximation.

研究の動機と目的

• 次元 $p$ が標本サイズとともに増加する状況におけるMMDに基づく2標本検定の理論的理解の不足を解消すること。
• 高次元漸近的条件下でも有効性を保つ強固な標準化された検定統計量を開発すること。
• 発散する $p$, $n$, $m$ の下で、標準化MMDの中心極限定理を確立すること。
• 中程度の高次元領域における分布差の検出のための一般的な検出力分析フレームワークを提供すること。
• さまざまな高次元設定やカーネル選択における数値シミュレーションを通じて、手法の有効性を検証すること。

提案手法

• 高次元漸近的条件下での分散の安定化を目的として、標本MMDの標準化版を提案する。
• 一般のカーネル条件の下で、標準化MMDの中心極限定理を導出する。ガウスカーネルやラプラスカーネルを含む。
• 正規近似の収束速度を確立し、次元が高くなるに従い収束が改善されることを示す。
• U統計量理論を用いて、$p$, $n$, $m$ が同時に発散する下でのMMDの漸近的挙動を分析する。
• 代替仮説下で高次元的分布差を考慮した一般的な検出力分析フレームワークを導入する。
• さまざまな高次元的設定やカーネル選択の下で、数値的シミュレーションにより手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 次元 $p$ と標本サイズ $n, m$ が無限大に発散する際、MMDの標本分布はどのように振る舞うか？
• RQ2 MMDの標準化された検定統計量は、高次元漸近的条件下でも有効な推論を達成できるか？
• RQ3 次元が高くなるに従い、標準化MMDの正規近似の精度は向上するか？
• RQ4 中程度の高次元領域における分布差の検出において、提案手法の理論的検出力は何か？
• RQ5 ガウスカーネル、ラプラスカーネル、エネルギー距離といった異なるカーネルは、提案フレームワーク下でどのように振る舞うか？

主な発見

• $p$, $n$, $m$ が同時に発散する下で、標準化MMDの中心極限定理が成立し、漸近的に正規分布に従うことが保証される。
• ややきつい正則性条件のもとで、次元が高くなるに従い正規近似の収束速度が向上することが示された。
• $p$ が $n$ と $m$ とともに増加する場合でも、分布差を検出するための検出力が高く保たれる。
• 本手法はガウスカーネル、ラプラスカーネル、およびエネルギー距離（特殊ケースとして）を含む広範なカーネルクラスに対して有効である。
• 数値的シミュレーションにより、正規近似の精度と高次元的設定下での検定統計量の有効性が確認された。
• 理論的検出力分析により、中程度の高次元領域において微細な分布差を検出可能であることが示された。