[論文レビュー] Revisiting Classifier Two-Sample Tests

David López-Paz, Maxime Oquab|arXiv (Cornell University)|Oct 20, 2016

Machine Learning and Data Classification被引用数 59

ひとこと要約

本稿では、2つのデータサンプルを区別するように訓練されたバイナリ分類器を再利用することで、二標本仮説検定としての Classifier Two-Sample Tests (C2ST) を提案する。保証された検定統計量の測定、解釈可能な統計的分布、特徴量の重要度と不確実性による内蔵された解釈可能性を通じて、C2STは生成モデルの評価において最先端の性能を達成し、GANを用いた因果探索を含む新たな応用を可能にする。

ABSTRACT

The goal of two-sample tests is to assess whether two samples, $S_P \sim P^n$ and $S_Q \sim Q^m$, are drawn from the same distribution. Perhaps intriguingly, one relatively unexplored method to build two-sample tests is the use of binary classifiers. In particular, construct a dataset by pairing the $n$ examples in $S_P$ with a positive label, and by pairing the $m$ examples in $S_Q$ with a negative label. If the null hypothesis "$P = Q$" is true, then the classification accuracy of a binary classifier on a held-out subset of this dataset should remain near chance-level. As we will show, such Classifier Two-Sample Tests (C2ST) learn a suitable representation of the data on the fly, return test statistics in interpretable units, have a simple null distribution, and their predictive uncertainty allow to interpret where $P$ and $Q$ differ. The goal of this paper is to establish the properties, performance, and uses of C2ST. First, we analyze their main theoretical properties. Second, we compare their performance against a variety of state-of-the-art alternatives. Third, we propose their use to evaluate the sample quality of generative models with intractable likelihoods, such as Generative Adversarial Networks (GANs). Fourth, we showcase the novel application of GANs together with C2ST for causal discovery.

研究の動機と目的

• 二標本仮説検定の代替手段として、Classifier Two-Sample Tests (C2ST) の理論的および実用的性質を確立すること。
• 合成および実世界のデータ、特に複雑で高次元な分布を含む状況において、C2STの性能を最先端の手法と比較すること。
• 尤度が計算不能な生成モデル（例：GAN）におけるサンプル品質の評価手法としてC2STを提案すること。
• 条件付きGAN（CGAN）と組み合わせたC2STの新規応用として、加法的ノイズを仮定しない因果推論における因果関係の同定を提示すること。

提案手法

• 分布Pのn個のサンプルを正例、分布Qのm個のサンプルを負例としてラベル付けし、バイナリ分類用のデータセットを構築する。
• この統合データセット上で分類器を学習し、保持されたテストセットでの精度を評価することで、検定統計量を形成する。
• 分類器の精度を検定統計量として用いる：帰無仮説H0（P = Q）のもとでは、精度はほぼ確率的水準（バランスの取れたクラスでは約50％）に近づく。
• 分類器が学習した特徴量と予測の不確実性を活用し、分布PとQの相違点を解釈する。
• 生成されたサンプルと実データを比較することで、C2STをGANの出力評価に適用する。
• CGANを用いて両方の因果方向（X→Y および Y→X）をモデル化し、より単純でより妥当性の高い因果方向を、低い検定統計量に基づいて選別する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ分類器を、理論的および実用的性質に優れた二標本検定に効果的に再利用できるか？
• RQ2 MMD、HSIC、IGCIといった既存の二標本検定と比較して、C2STの検出力と解釈可能性はどのように異なるか？
• RQ3 尤度が計算不能な場合でも、C2STをGANのサンプル品質の評価に用いることができるか？
• RQ4 CGANと組み合わせたC2STは、加法的ノイズの仮定をせずとも、強力な因果関係の同定を可能にするか？

主な発見

• C2STは、Tübingenの因果関係ペアデータセットにおいて、ANM-HSIC、IGCI、RCCなどと比較して、二標本検定の分野で最先端の性能を達成した。
• Tübingenデータセットにおいて、Ensemble-CGAN-C2ST手法は因果関係同定で82％の精度を達成し、RCC（76％）およびANM-HSIC（67％）を上回った。
• C2STは特徴量の重要度と予測の不確実性を通じて、分布の相違点に関する解釈可能なインサイトを提供し、PとQの相違点の分析を可能にする。
• C2STは高い検出力とロバストネスを示し、単純な漸近的帰無分布と、帰無仮説のもとでの低レベルの第一種誤り率を有する。
• C2STは尤度の計算を必要としないため、尤度が計算不能なモデル（例：GAN）の評価に特に適している。
• CGANとC2STの組み合わせにより、制限的な加法的ノイズの仮定を回避する、新しい非パラメトリックな因果関係同定アプローチが可能になった。