[論文レビュー] Learning Deep Kernels for Non-Parametric Two-Sample Tests

Feng Liu, Wenkai Xu+4 more|arXiv (Cornell University)|Feb 21, 2020

Machine Learning and Data Classification被引用数 66

ひとこと要約

本論文は、深層カーネルに基づく二標本検定を提案し、深層ネットを用いてカーネルを学習し検定力を最大化する。従来のカーネル法や分類器ベースの検定を高次元での複雑な分布において凌駕する。

ABSTRACT

We propose a class of kernel-based two-sample tests, which aim to determine whether two sets of samples are drawn from the same distribution. Our tests are constructed from kernels parameterized by deep neural nets, trained to maximize test power. These tests adapt to variations in distribution smoothness and shape over space, and are especially suited to high dimensions and complex data. By contrast, the simpler kernels used in prior kernel testing work are spatially homogeneous, and adaptive only in lengthscale. We explain how this scheme includes popular classifier-based two-sample tests as a special case, but improves on them in general. We provide the first proof of consistency for the proposed adaptation method, which applies both to kernels on deep features and to simpler radial basis kernels or multiple kernel learning. In experiments, we establish the superior performance of our deep kernels in hypothesis testing on benchmark and real-world data. The code of our deep-kernel-based two sample tests is available at https://github.com/fengliu90/DK-for-TST.

研究の動機と目的

• 高次元かつ複雑な構造を持つデータにおけるノンパラメトリックな二標本検定を動機づける。
• 深層特徴学習と特徴量上のカーネルおよび入力に対する安定化項を組み合わせたカーネルを提案する。
• 正則化された MMD ベースの基準を最適化することで検定力を最大化する。
• カーネル適応手続きの一貫性に関する理論的保証を提供する。
• 合成データ、物理データ、画像データセットで実証的に優れた性能を示す。

提案手法

• 深層特徴写像 φ_ω と特徴量上のシンプルなカーネルおよび入力に対する安定化カーネルを組み合わせた深層カーネル k_ω を定義する： k_ω(x,y) = [(1−ε) κ(φ_ω(x), φ_ω(y)) + ε] q(x,y).
• 正則化された検出力基準 Ŵ_J(ω) = MMD_u^2(S_P,S_Q;k_ω) / σ̂_H1,λ を最大化することによりカーネルを最適化する。ここで σ̂_H1,λ は正則化された分散推定量である。
• Adam を用いたミニバッチ確率的最適化により Ŵ_J を最大化するように φ_ω およびカーネルパラメータ ω を学習する。
• データを訓練データと検定データに分割してデータ漏洩を避ける；訓練データでカーネルを選択し、保持された検定データで検定力を評価する。
• 学習済みカーネルの p 値と閾値を得るために置換ベースの検定を提供する。
• 深層カーネルが特徴付け可能であることを示し、カーネル適応手続きの一貫性に関する結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークで学習されたカーネルは、固定カーネルよりも MMD ベースの二標本検定で高い検出力を提供することができるか？
• RQ2 未知のデータへ一般化するカーネルを生み出すか。
• RQ3 複雑で高次元な分布に対して、深層カーネルは分類器ベースの二標本検定や他のカーネル法とどう比較されるか？
• RQ4 この適応フレームワークにおける一貫性の理論的保証と最良カーネルの選択に関する保証は何か？

主な発見

• 学習済みの深層カーネル（MMD-D）は、固定パラメータを持つ深層カーネルの代替手法および標準の MMD よりも、ベンチマークおよび実データで経験的検定力が高い。
• MMD-D は単純なガウス長スケール最適化（MMD-O）および分類器ベースの検定（C2ST-S, C2ST-L）を、複数のデータセットで上回り、特にサンプル数が多い場合に顕著。
• 提案された Ĵ_λ 基準は、MMD と分散のバランスをとることでカーネル選択を導き、著者らはカーネル適応の一貫性に関する結果を確立している。
• この枠組みは分類器ベースの二標本検定を特別な場合として包含するが、深層カーネルはより一般的で効率的な表現を提供する。
• Blob、Higgs、MNIST 対 DCGAN サンプル、および高次元ガウス混合分布などのデータセット全体で、MMD-D は型Iエラーを抑えつつ優れた検定力を示す。