[論文レビュー] Kernel MMD, the Median Heuristic and Distance Correlation in High Dimensions.

Sashank J. Reddi, Aaditya Ramdas+3 more|arXiv (Cornell University)|Jun 9, 2014

Statistical Methods and Inference参考文献 12被引用数 6

ひとこと要約

本稿は、高次元設定における最大平均差分（MMD）および距離相関（dCor）の性能を調査し、両手法が次元が増加するにつれて多項式的にパワーが低下することを示している。さらに、カーネル帯域幅選択のための中央値ヒューリスティクスの分析を行い、MMDの減衰が次元に対して多項式的あるいは指数的である可能性があることを示し、高次元に対するロバスト性に関する主張に疑問を呈している。

ABSTRACT

This paper is about two related methods for two sample testing and independence testing which have emerged over the last decade: Maximum Mean Discrepancy (MMD) for the former problem and Distance Correlation (dCor) for the latter. Both these methods have been suggested for high-dimensional problems, and sometimes claimed to be unaffected by increasing dimensionality of the samples. We will show theoretically and practically that the power of both methods (for different reasons) does actually decrease polynomially with dimension. We also analyze the median heuristic, which is a method for choosing tuning parameters of translation invariant kernels. We show that different bandwidth choices could result in the MMD decaying polynomially or even exponentially in dimension. 1

研究の動機と目的

• MMDおよび距離相関が高次元における2標本検定および独立性検定にどの程度有効であるかを評価すること。
• これらの手法がしばしば高次元に対してロバストであるとされるが、実務的限界があるにもかかわらずその理由を調査すること。
• 並進不変カーネルにおけるカーネル帯域幅選択に中央値ヒューリスティクスが与える影響を分析すること。
• 理論的および実験的に、MMDおよびdCorのパワーが次元が増加するにつれて多項式的に低下することを示すこと。

提案手法

• 高次元分布におけるMMDおよびdCorのパワー行動の理論的分析。
• 特に中央値ヒューリスティクスによる帯域幅選択がMMDのパフォーマンスに与える影響を導出および検証すること。
• 並進不変カーネルを用いて、次元が変化する状況下でのMMDのモデル化。
• 次元が増加するに従ってMMDおよびdCorの検出力の実験的評価。
• 中央値ヒューリスティクスを含む、異なる帯域幅選択戦略がMMDの減衰率に与える影響の比較。
• 次元が増加する際のMMDおよびdCorの漸近的挙動の分析により、パワーの多項式的低下を示すこと。

実験結果

リサーチクエスチョン

• RQ1 MMDおよび距離相関のパワーは、次元が増加しても本当に安定するのか？
• RQ2 中央値ヒューリスティクスは、高次元設定におけるMMDの減衰率にどのように影響するのか？
• RQ3 高次元におけるカーネル帯域幅選択とMMDパフォーマンスとの間の理論的関係は何か？
• RQ4 MMDおよびdCorは高次元における2標本および独立性検定で高い統計的パワーを維持できるのか？
• RQ5 MMDおよびdCorのパワーが次元が増加するに従って低下する正確なスケーリング則は何か？

主な発見

• MMDおよび距離相関のパワーは、次元が増加するにつれて多項式的に低下する。これは次元に依存しないという主張と矛盾する。
• 帯域幅選択のための中央値ヒューリスティクスは、高次元においてMMDの減衰が多項式的あるいは指数的になる可能性がある。
• 異なる帯域幅選択はMMDパフォーマンスに顕著な影響を与え、一部の選択は検出力の急速な低下を引き起こす。
• 理論的分析により、MMDパワーは次元が増加するにつれて減少することが確認され、特に非最適なカーネル帯域幅が使用される場合には顕著である。
• 実験的結果により、MMDおよびdCorが高次元設定において有効性を失うことが裏付けられ、特に中央値ヒューリスティクスによる帯域幅選択の場合は顕著である。
• 本研究は、MMDおよびdCorが高次元データに対してロバストであるという仮定を疑問視し、そのパフォーマンスが次元とともに体系的に低下することを示している。