[論文レビュー] On the Decreasing Power of Kernel and Distance based Nonparametric Hypothesis Tests in High Dimensions

Sashank J. Reddi, Aaditya Ramdas+3 more|arXiv (Cornell University)|Jun 9, 2014

Statistical Methods and Inference参考文献 15被引用数 14

ひとこと要約

本稿は、カーネルおよび距離ベースの非パラメトリック仮説検定（MMD や距離相関を含む）が、Kullback-Leibler 散逸が一定のまま高次元において多項式的に減少する検出力を持つことを示している。著者らは、検定統計量の推定誤差は低いものの、非ゼロ値を検出する難易度が次元とともに増加し、公平な代替仮説に対する検出力が低下することを特定した。

ABSTRACT

This paper is about two related decision theoretic problems, nonparametric two-sample testing and independence testing. There is a belief that two recently proposed solutions, based on kernels and distances between pairs of points, behave well in high-dimensional settings. We identify different sources of misconception that give rise to the above belief. Specifically, we differentiate the hardness of estimation of test statistics from the hardness of testing whether these statistics are zero or not, and explicitly discuss a notion of "fair" alternative hypotheses for these problems as dimension increases. We then demonstrate that the power of these tests actually drops polynomially with increasing dimension against fair alternatives. We end with some theoretical insights and shed light on the extit{median heuristic} for kernel bandwidth selection. Our work advances the current understanding of the power of modern nonparametric hypothesis tests in high dimensions.

研究の動機と目的

• カーネルおよび距離ベースの非パラメトリック検定が高次元設定でも良好に機能すると一般に信じられている考え方に挑戦すること。
• 高次元仮説検定における推定の難易度と検定の難易度の違いを明確にすること。
• 次元に応じて適切にスケーリングされ、意味のある検出力評価を可能にする「公平な」代替仮説を定義・分析すること。
• MMD および距離相関検定の検出力が次元の増加に従い多項式的に低下することを実証すること。
• 特にメディアンヒューリスティックを含むカーネルバンド幅選択の理論的および実験的洞察を提供すること。

提案手法

• 次元に応じてスケーリングされる「公平な」代替仮説を用いた検出力評価のフレームワークを提案する。
• ガウス分布、ラプラス分布、分散が異なるガウス分布などのさまざまな分布的仮定下での MMD および距離相関の母集団レベルの挙動を分析する。
• テイラー展開と漸近的分析を用いて、異なるバンド幅選択における MMD2 の閉形式表現を導出する。
• バンド幅の3つのスケーリング領域（過小推定、メディアンヒューリスティック、過大推定）における MMD2 の挙動を比較する。
• パーミュテーション検定を用いて帰無分布を推定し、制御された代替仮説下での検出力をシミュレートする。
• 大標本における MMD の実験的推定を通じて理論的近似を検証し、漸近的トレンドを確認する。

実験結果

リサーチクエスチョン

• RQ1 カーネルおよび距離ベースの非パラメトリック検定が推定誤差が低いにもかかわらず、なぜ高次元では検出力が低下するのか？
• RQ2 高次元の2標本検定および独立性検定において、「公平な」代替仮説とは何か？
• RQ3 特にメディアンヒューリスティックを含むカーネルバンド幅の選択が、MMD ベースの検定の検出力にどのように影響するのか？
• RQ4 Kullback-Leibler 散逸が一定のままでも、なぜ MMD 統計量が次元とともに多項式的に減少するのか？
• RQ5 MMD および距離相関の挙動は、高次元設定においてどの程度類似しているのか？

主な発見

• KL 散逸が一定のままでも、MMD2 は次元 d に対して多項式的に減少し、検出力の損失は 1/d またはそれ以下のスケールで発生する。
• 等方的共分散を持つ平均分離ガウス分布の場合、メディアンヒューリスティック（γ ≈ σ√d）における MMD2 は 1/d の速度で減少し、これは KL 散逸よりも多項式的に遅い。
• バンド幅が過小推定された場合（γ = σd^{1/2−ϵ}）、MMD2 は exp(d^{2ϵ}/2) の速度で指数的に急速に減少し、KL よりも指数的に小さくなる。
• ラプラス分布のデータでは、メディアンヒューリスティックにより MMD2 は exp(d^ϵ) の速度で指数的に減少し、再び KL よりも指数的に小さくなる。
• 分散が異なるガウス分布の場合、過大推定されたバンド幅下では MMD2 は 1/d^{1+2ϵ} の速度で減少するが、依然として KL 散逸よりも遅い。
• メディアンヒューリスティックは一般的に用いられるが、しばしば最適でない MMD 値をもたらし、高次元では検出力を最大化しない。