[論文レビュー] Hypothesis testing using pairwise distances and associated kernels (with Appendix)

Dino Sejdinović, Arthur Gretton+2 more|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Inference参考文献 24被引用数 7

ひとこと要約

本稿では、負のタイプの半距離から導かれる新しい距離誘導カーネル族を用いることで、統計におけるエネルギー距離と距離共分散が、機械学習における最大平均差分（MMD）とヒルバート＝シュミット独立性基準（HSIC）に等価であることを統一的な枠組みで示している。主な貢献は、一般的に用いられるエネルギー距離（q=1）がパラメトリックなカーネル族の1つにすぎず、より小さい指数（例：q=1/3 や q=1/6）を用いることで、特に高周波数または微細スケールの分布差を検出する際、はるかに検出力の高い二標本検定および独立性検定が得られることを明らかにしたことである。

ABSTRACT

We provide a unifying framework linking two classes of statistics used in two-sample and independence testing: on the one hand, the energy distances and distance covariances from the statistics literature; on the other, distances between embeddings of distributions to reproducing kernel Hilbert spaces (RKHS), as established in machine learning. The equivalence holds when energy distances are computed with semimetrics of negative type, in which case a kernel may be defined such that the RKHS distance between distributions corresponds exactly to the energy distance. We determine the class of probability distributions for which kernels induced by semimetrics are characteristic (that is, for which embeddings of the distributions to an RKHS are injective). Finally, we investigate the performance of this family of kernels in two-sample and independence tests: we show in particular that the energy distance most commonly employed in statistics is just one member of a parametric family of kernels, and that other choices from this family can yield more powerful tests.

研究の動機と目的

• RKHSにおけるエネルギー距離ベースの統計とカーネルベースの分布埋め込みの間の長年の未解決問題である関係を解明すること。
• 半距離の負のタイプから導かれるカーネルが特徴的（すなわち、RKHSへの単射埋め込みが可能）となる確率分布のクラスを同定すること。
• 一般的に用いられるエネルギー距離（q=1）が、すべての状況で最適ではなく、カーネル族内の他のパrameter選択がより検出力の高い仮説検定をもたらすことを実証すること。

提案手法

• 負のタイプの半距離から導かれる、翻訳可変性を持つ新しいカーネル族（距離誘導カーネル）を定義する。
• これらのカーネルを用いることで、エネルギー距離とMMD、距離共分散とHSICの等価性を確立する。
• 有限第一モーメントを持つすべての確率分布に対して、導出されたカーネルが特徴的であることを証明する。
• MMDおよびHSICの経験的推定値を用いて、一貫性を持つ二標本検定および独立性検定を構築する。
• Székelyら（2007）の保守的上界に依存せずに、スペクトル法およびブートストラップベースの検定を用いて性能を評価する。
• カーネルパrameter qが、さまざまな合成および実世界データセットにおける検定力に与える影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 共通のカーネル枠組み下で、エネルギー距離/MMDと距離共分散/HSICの間には正式な等価性が存在するか？
• RQ2 負のタイプの半距離から導かれるカーネルが特徴的となる確率分布はどのようなものか？
• RQ3 一般的に用いられるエネルギー距離（q=1）は、すべての状況で最も検出力の高い二標本検定または独立性検定を提供するか？
• RQ4 距離誘導カーネル族内の他のパrameter選択は、特に高周波数または微細スケールの分布差に対して、検定性能を向上させることができるか？
• RQ5 提案されたカーネルベースの検定は、ブートストラップ法およびスペクトル法と比較して、検出力および信頼性の面で優れているか？

主な発見

• q=1のエネルギー距離は、特定の距離誘導カーネルを用いたMMDと等価であるが、すべての検定状況で最適ではない。
• 負のタイプの半距離から導かれる距離誘導カーネルは、有限第一モーメントを持つすべての確率分布に対して特徴的である。
• より小さいカーネル指数（例：q=1/3 や q=1/6）は、正弦波的摂動のような高周波数の分布差を検出する際、q=1およびガウスカーネルよりも顕著に優れた性能を示す。
• 二標本検定において、q=1/3を用いた本稿のカーネル族は、正弦波的摂動で高周波数でもほぼ誤差ゼロの性能を達成するが、q=1およびガウスカーネルでは失敗する。
• 独立性検定において、q=1/6のカーネルは、回転I CAベンチマークデータにおいて、ガウスカーネルおよび標準的な距離共分散（q=1）を上回り、特に回転角度が小さい場合に顕著な優位性を示す。
• スペクトル検定とブートストラップベースの検定は、性能が区別できず、両者とも二次形式検定よりも優れており、後者は同じ状況で帰無仮説を棄却できない。