[論文レビュー] MMD-FUSE: Learning and Combining Kernels for Two-Sample Testing Without Data Splitting

Felix Biggs, Antonin Schrab+1 more|arXiv (Cornell University)|Jun 14, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

MMD-FUSEは、データ分割を伴わずに、重み付きソフトマックスを用いて複数のカーネルを適応的に組み合わせることで、検出力の最大化を図る新しい二標本検定を提案する。完全なデータセット上で特徴抽出器とカーネル重みを教師なしで、順列に依存しない方法で学習することで、帰無仮説および対立仮説の両方において、良好に補正された、高パワーの検出が可能となり、指数的濃縮バインディングが得られる。

ABSTRACT

We propose novel statistics which maximise the power of a two-sample test based on the Maximum Mean Discrepancy (MMD), by adapting over the set of kernels used in defining it. For finite sets, this reduces to combining (normalised) MMD values under each of these kernels via a weighted soft maximum. Exponential concentration bounds are proved for our proposed statistics under the null and alternative. We further show how these kernels can be chosen in a data-dependent but permutation-independent way, in a well-calibrated test, avoiding data splitting. This technique applies more broadly to general permutation-based MMD testing, and includes the use of deep kernels with features learnt using unsupervised models such as auto-encoders. We highlight the applicability of our MMD-FUSE test on both synthetic low-dimensional and real-world high-dimensional data, and compare its performance in terms of power against current state-of-the-art kernel tests.

研究の動機と目的

• MMDに基づく二標本検定におけるカーネル選択の重大な制限を克服すること。これは検定力に顕著な影響を与える。
• カーネル選択にためのデータ分割の必要性を排除すること。これにより、カーネル学習と検定の両方に全データセットを活用し、統計的パワーを損なわないようにする。
• 複数のカーネル（特に深層または学習されたカーネル）を統合して、1つの適応的検定統計量を形成する、原理的かつ良好に補正された手法を開発すること。
• 帰無仮説および対立仮説の両方において、指数的濃縮バインディングを含む理論的保証を提供すること。

提案手法

• 正規化されたMMD値の重み付きソフトマックスに基づく新しい検定統計量FUSEを提案。重みは変分推論を用いて学習する。
• 全データセットを用いて、特徴抽出（例：オートエンコーダーや自己教師付きモデルを用いて）を行う教師なしで順列に依存しないカーネル特徴選択手法を導入。
• カーネル重みの事後分布に対する変分近似を採用。これにより、有限なカーネル集合に対して融合統計量を閉形式で計算可能となる。
• 帰無仮説および対立仮説の両方において、FUSE統計量の指数的濃縮バインディングを導出。これにより、第1種および第2種の誤りの良好な補正が保証される。
• 有限および無限のカーネル集合への適用を可能とし、教師なしで全データセット上で訓練された深層カーネルにも適用可能。
• 過学習を防ぐために、事前分布とのKLダイバージェンスに基づく正則化を導入。

実験結果

リサーチクエスチョン

• RQ1 データを分割せずに、MMDに基づく二標本検定に最適なカーネル特徴を学習できるか？
• RQ2 異なるカーネルにおける複数のMMD統計量を、パワーが向上した1つの適応的検定統計量に統合する方法は何か？
• RQ3 データ分割なしで、指数的濃縮や良好に補正された第1種の誤りといった理論的保証を達成できるか？
• RQ4 提案手法は、既存のカーネル選択ヒューリスティクスおよびデータ分割アプローチを上回る統計的パワーを達成できるか？
• RQ5 このフレームワークは、深層カーネルおよび教師なし特徴抽出器（例：オートエンコーダー、対照的モデル）に適用可能であり、有効性を維持できるか？

主な発見

• MMD-FUSE検定は、理論的濃縮バインディングにより、データ分割を伴わず、良好に補正された第1種の誤り制御を達成している。
• 帰無仮説および対立仮説の両方において、検定統計量の指数的濃縮が実現され、強力なパワー保証が可能となる。
• 全データセット上でカーネル特徴と重みを学習することで、特に小標本領域において顕著なパワー損失を回避する。
• 変分重み付けを用いたソフトマックス統合機構により、固定カーネル選択やヒューリスティックバンド幅選択を上回る適応的カーネル統合が実現される。
• フレームワークは深層カーネルおよび教師なし特徴抽出器（例：オートエンコーダー、対照的モデル）をサポートし、画像などの高次元データへの適用範囲を拡大する。
• 実験的結果では、MMD-FUSEは合成および実世界のデータセットにおいて、最先端のカーネル検定を上回る高いパワーを達成しており、特に高次元設定で顕著な優位性を示す。