[論文レビュー] Adaptivity and Computation-Statistics Tradeoffs for Kernel and Distance based High Dimensional Two Sample Testing

Aaditya Ramdas, Sashank J. Reddi+3 more|arXiv (Cornell University)|Aug 4, 2015

Statistical Methods and Inference参考文献 31被引用数 23

ひとこと要約

本稿は、高次元設定におけるカーネルベースの（gMMD）および距離ベースの（eED）2標本検定の理論的関係を確立し、平均差の代替仮説（MDA）において漸近的に等しくかつ最適なパワーを達成することを示している。一方、一般の分布的差異（GDA）に対しても一貫性を保つ。計算と統計のトレードオフが滑らかであることが明らかになり、計算量の増加に伴いパワーが向上する。また、gMMDの性能が中央値ヒューリスティックを越えるバンド幅選択に対して頑健であることも示している。

ABSTRACT

Nonparametric two sample testing is a decision theoretic problem that involves identifying differences between two random variables without making parametric assumptions about their underlying distributions. We refer to the most common settings as mean difference alternatives (MDA), for testing differences only in first moments, and general difference alternatives (GDA), which is about testing for any difference in distributions. A large number of test statistics have been proposed for both these settings. This paper connects three classes of statistics - high dimensional variants of Hotelling's t-test, statistics based on Reproducing Kernel Hilbert Spaces, and energy statistics based on pairwise distances. We ask the question: how much statistical power do popular kernel and distance based tests for GDA have when the unknown distributions differ in their means, compared to specialized tests for MDA? We formally characterize the power of popular tests for GDA like the Maximum Mean Discrepancy with the Gaussian kernel (gMMD) and bandwidth-dependent variants of the Energy Distance with the Euclidean norm (eED) in the high-dimensional MDA regime. Some practically important properties include (a) eED and gMMD have asymptotically equal power; furthermore they enjoy a free lunch because, while they are additionally consistent for GDA, they also have the same power as specialized high-dimensional t-test variants for MDA. All these tests are asymptotically optimal (including matching constants) under MDA for spherical covariances, according to simple lower bounds, (b) The power of gMMD is independent of the kernel bandwidth, as long as it is larger than the choice made by the median heuristic, (c) There is a clear and smooth computation-statistics tradeoff for linear-time, subquadratic-time and quadratic-time versions of these tests, with more computation resulting in higher power.

研究の動機と目的

• 分布が平均のみで異なる場合（MDA）における汎用的カーネルおよび距離ベースの検定（gMMD, eED）の統計的パワーが、特化型の高次元t検定と比べてどのように異なるかを理解すること。
• 特にパワー、分散、バンド幅依存性に関して、gMMDとeEDの高次元MDAにおける漸近的挙動を特徴づけること。
• これらの検定の線形時間、部分二次時間、二次時間のバージョンにおける、計算量と統計的パワーの滑らかなトレードオフを確立すること。
• gMMDのバンド幅選択における中央値ヒューリスティックの理論的根拠を提供すること。
• 球面共分散構造下でMDAに対するgMMDとeEDが漸近的に最適であることを証明し、下界と同一の定数を達成すること。

提案手法

• U統計量理論とヘルミート多項式展開を用いて、帰無仮説および対立仮説の下での検定統計量の漸近的分布を導出する。
• MDAの下で高次モーメントを近似するため、ガウスカーネルおよび修正ユークリッド距離にテイラー展開を適用する。
• 高次元ガウス分布ベクトルにおける2次形式のトレース漸近およびモーメントバウンドを用いて、検定統計量の平均と分散を特徴づける。
• 信号対ノイズ比が高い場合、対立仮説下でのgMMDおよびeEDの分散がO(1/n)であることを確立し、帰無仮説下ではO(1/n²)であることを示し、退化U統計量と整合的である。
• MDA下でのgMMDおよびeEDの漸近的パワーを特化型高次元t検定と比較し、極限でのパワーと定数が等しいことを示す。
• gMMDのパワーが、中央値ヒューリスティックの値を上回る限り、カーネルのバンド幅に依存しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 一般の差異代替仮説（GDA）におけるgMMDおよびeEDのパワーが、平均差の代替仮説（MDA）下での特化型高次元t検定と比べてどのように異なるか？
• RQ2 gMMDのバンド幅選択における中央値ヒューリスティックの理論的根拠はあるか？
• RQ3 カーネルおよび距離ベースの2標本検定における計算コストと統計的パワーの関係は何か？
• RQ4 gMMDおよびeEDは球面共分散構造下でMDAに対して漸近的に最適なパワーを達成するか？
• RQ5 gMMDおよびeEDの分散および漸近的分布は、高次元MDA下でどのように振る舞うか？

主な発見

• gMMDおよびeEDはMDAにおいて漸近的に等しいパワーを達成し、同じ条件下で特化型高次元t検定のパワーと一致する。
• gMMDのパワーは、中央値ヒューリスティックの値を超える限り、カーネルのバンド幅に依存しない。
• 球面共分散構造下でMDAに対するgMMDおよびeEDは漸近的に最適であり、下界と同一の極限パワーと定数を達成する。
• 計算量と統計的パワーの滑らかなトレードオフが存在する：計算コストを線形時間から二次時間へと増加させることで、統計的パワーが直接的に1桁の増加を示す。
• 対立仮説下でのgMMDおよびeEDの分散はO(1/n)であり、帰無仮説下ではO(1/n²)である。これは高次元における退化U統計量と整合的である。
• 理論的分析により、gMMDおよびeEDはMDAに対して自動的に適応可能であることが確認され、GDAに対して一貫性を保ちつつ、再パラメータライゼーションを必要とせずにMDAに対して最適なパワーを達成する。