[論文レビュー] Mimic and Classify : A meta-algorithm for Conditional Independence Testing

Rajat Sen, Karthikeyan Shanmugam+3 more|arXiv (Cornell University)|Jun 25, 2018

Machine Learning and Data Classification参考文献 3被引用数 8

ひとこと要約

本論文は、条件付き独立性検定のための「ミミック・アンド・クラスファイ」メタアルゴリズムを導入する。この手法は、まず、条件付き独立（CI）分布に近い分布を、条件付きGANやニューラルネットワーク回帰モデルなどの深層生成モデルを用いて再現し、次に分類器を用いて真の結合分布とCI分布を区別する。本手法は、合成データおよび実世界のデータセットにおいて最先端の性能を達成しており、$d_z = 300$ の高次元データにおいてもAUCが0.835に達する。また、帰無分布に関する理論的保証を提供し、一般の測度に対しても対応可能である。

ABSTRACT

Given independent samples generated from the joint distribution $p(\mathbf{x},\mathbf{y},\mathbf{z})$, we study the problem of Conditional Independence (CI-Testing), i.e., whether the joint equals the CI distribution $p^{CI}(\mathbf{x},\mathbf{y},\mathbf{z})= p(\mathbf{z}) p(\mathbf{y}|\mathbf{z})p(\mathbf{x}|\mathbf{z})$ or not. We cast this problem under the purview of the proposed, provable meta-algorithm, "Mimic and Classify", which is realized in two-steps: (a) Mimic the CI distribution close enough to recover the support, and (b) Classify to distinguish the joint and the CI distribution. Thus, as long as we have a good generative model and a good classifier, we potentially have a sound CI Tester. With this modular paradigm, CI Testing becomes amiable to be handled by state-of-the-art, both generative and classification methods from the modern advances in Deep Learning, which in general can handle issues related to curse of dimensionality and operation in small sample regime. We show intensive numerical experiments on synthetic and real datasets where new mimic methods such conditional GANs, Regression with Neural Nets, outperform the current best CI Testing performance in the literature. Our theoretical results provide analysis on the estimation of null distribution as well as allow for general measures, i.e., when either some of the random variables are discrete and some are continuous or when one or more of them are discrete-continuous mixtures.

研究の動機と目的

• 高次元設定、小標本領域、および混合離散連続変数を含む状況において、既存の条件付き独立性検定（CIT）手法の限界を克服すること。
• 生成モデルと分類モデルの分離を可能にするモジュラーかつ理論的に妥当なフレームワークを構築し、最先端の生成モデルおよび識別モデルを柔軟に統合可能とする。
• 提案フレームワーク下での帰無分布に関する理論的分析を提供し、統計的妥当性を保証すること。
• 混合離散連続確率変数を含む一般の確率測度に対しても、効果的なCITを可能とすること。
• 遺伝子調節ネットワークの推定やタンパク質シグナル伝達ネットワークの検証といった、実世界の因果推論タスクにおける性能向上を図ること。

提案手法

• 本手法は2段階で構成される：まず、条件付きGANやニューラルネットワークベースの回帰モデルを用いて、CI分布 $p^{CI}(\mathbf{x},\mathbf{y},\mathbf{z}) = p(\mathbf{z})p(\mathbf{y}|\mathbf{z})p(\mathbf{x}|\mathbf{z})$ を再現する。
• 次に、$p(\mathbf{x},\mathbf{y},\mathbf{z})$ からの実際のサンプルと、再現された $p^{CI}$ 分布からの生成サンプルを区別する二値分類器を訓練する。
• フレームワークはモジュラー設計となっており、両ステップに最新の深層学習モデルを柔軟に統合可能である。
• 理論的分析により、検定統計量の帰無分布が良好に近似されることを保証し、$\mathcal{H}_0$ 下での有効なp値が得られることを裏付ける。
• 密度推定に依存しないため、混合離散連続変数を含む一般の測度に対しても対応可能である。
• 本手法は、合成データ、フローサイトメトリー・データ、DREAM遺伝子調節ネットワークデータセットを用いて、AUC（ROC）で評価されている。

実験結果

リサーチクエスチョン

• RQ1 分布再現と分類を組み合わせた二段階メタアルゴリズムは、高次元および小標本領域において、従来のノンパラメトリックCIT手法を上回る性能を発揮できるか？
• RQ2 条件付きGANやニューラルネットワーク回帰モデルは、条件付け変数が高次元であってもCI分布を効果的に再現できるか？
• RQ3 ミミック・アンド・クラスファイフレームワークは、帰無分布に関する理論的保証を備え、有効な統計的推論を提供できるか？
• RQ4 遺伝子調節ネットワークやタンパク質シグナル伝達ネットワークのような、混合離散連続変数を含む実世界データセットにおいて、本手法はどの程度の性能を示すか？
• RQ5 本フレームワークは、密度関数を超える一般の確率測度に対しても一般化可能か？

主な発見

• MIMIFY-REGはフローサイトメトリー・データセットでAUC 0.7638を達成し、KCIT や CCIT といったすべてのベースラインを上回った。
• MIMIFY-GANは、$d_z = 300$ の合成後非線形データにおいてAUC 0.835を記録し、RCIT や KCIT を大きく上回った。KCITは計算コストが高いため、実行不能であった。
• DREAM遺伝子調節ネットワークデータセットでは、MIMIFY-REGがAUC 0.61645を達成し、RCIT（0.53511）とCCIT（0.42439）を上回った。
• 本手法は高次元設定においても頑健であることが示され、MIMIFY-GANは $d_z = 300$ であっても高い性能を維持した。KCITは計算的に非現実的だったため、実行不可能であった。
• 理論的分析により、フレームワーク下での検定統計量の帰無分布が良好に近似されることを確認した。これにより、妥当な仮説検定が可能である。
• 本フレームワークは、密度推定やカーネルバンド幅のチューニングを必要とせず、混合離散連続変数を含む一般の測度に対しても効果的に対応可能である。