[論文レビュー] The Exact Equivalence of Distance and Kernel Methods for Hypothesis Testing

Cencheng Shen, Joshua T Vogelstein|arXiv (Cornell University)|Jun 14, 2018

Gaussian Processes and Bayesian Inference参考文献 44被引用数 18

ひとこと要約

本稿は、距離相関とヒルバート＝シュミット独立性基準（HSIC）の仮説検定における正確な同等性を保証する、メトリクスとカーネルの間の全単射変換を確立する。この手法は類似構造を保持し、任意の固定点に依存せず、距離ベースとカーネルベースの推論手法を滑らかに統合でき、両者で同等の統計的パワーとp値を達成する。

ABSTRACT

Distance-based tests, also called "energy statistics", are leading methods for two-sample and independence tests from the statistics community. Kernel-based tests, developed from "kernel mean embeddings", are leading methods for two-sample and independence tests from the machine learning community. A fixed-point transformation was previously proposed to connect the distance methods and kernel methods for the population statistics. In this paper, we propose a new bijective transformation between metrics and kernels. It simplifies the fixed-point transformation, inherits similar theoretical properties, allows distance methods to be exactly the same as kernel methods for sample statistics and p-value, and better preserves the data structure upon transformation. Our results further advance the understanding in distance and kernel-based tests, streamline the code base for implementing these tests, and enable a rich literature of distance-based and kernel-based methodologies to directly communicate with each other.

研究の動機と目的

• 距離ベースとカーネルベースの独立性検定手法の間の長年の隔たりを解消すること。
• 固定点に依存しない数学的に厳密な全単射をメトリクスとカーネルの間で構築し、標本統計量とp値の同等性を保証すること。
• 距離相関とHSICを一つの枠組みに統合し、両分野の手法の相互浸透を可能にすること。
• コードベースの簡素化と変換過程における類似構造の保持を通じて、実装の改善を図ること。
• スペクトラルクラスタリングとマルチスケールグラフ相関への応用において、本手法の有効性を示すこと。

提案手法

• 固定点変換の特殊ケースであるが、任意の初期化を回避する新しいメトリクスとカーネルの間の全単射変換を提案する。
• ユークリッド距離行列を同等のカーネル行列に変換するため、変換を適用し、元の類似構造を保持する。
• 変換されたカーネルを用いてHSICを計算し、バイアスあり・なしの両形式において距離相関と同等になるように保証する。
• センターイング行列とトレースに基づく定式化を用いて、不偏距離共分散およびそのカーネル版を計算する。
• 全単射を適用して、誘導されたメトリクス上の近隣点構造を用いたカーネルベースのマルチスケールグラフ相関を実現する。
• 置換に基づく仮説検定と合成データ上のスペクトラルクラスタリングを通じて、同等性を検証する。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、距離相関とHSICが正確に同等となるような、メトリクスとカーネルの間の全単射変換を構築可能か？
• RQ2 提案された変換は、特に非線形設定において、元のデータの類似構造を保持するか？
• RQ3 距離共分散とHSICのバイアスあり・なし推定器の両方において、同等性が維持されるか？
• RQ4 スペクトラルクラスタリングやマルチスケールグラフ相関といった下流タスクにおいて、変換が性能向上をもたらすか？
• RQ5 変換は平行移動不変かつランクを保存するか？これにより、実用応用におけるロバスト性が保証されるか？

主な発見

• 提案された全単射により、バイアスあり・なしの両推定器において、距離相関とHSICが同一の検定統計量とp値を生成することが保証された。
• 全単射変換は、スペクトラルクラスタリングで用いられるカーネル行列に明確なブロック構造が現れることから、データの類似構造を保持していることが裏付けられた。
• 全単射カーネルを用いたスペクトラルクラスタリングは、2次元ガウス混合分布において完璧なクラスタリングを達成したが、固定点カーネルでは歪んだ行列と誤ったグループ化が生じた。
• 全単射によって可能になったカーネルマルチスケールグラフ相関は、非線形依存性の検出力が向上した一方で、第1種の誤り確率を制御した。
• 近隣点構造の保持という点で、固定点変換よりも優れた性能を示し、局所的依存性の検出に不可欠な構造を保った。
• 実験的結果では、特に強い非線形関係の検出において、標準HSICと同等またはそれ以上の検出力が得られた。