[論文レビュー] Conditional Independence Testing using Generative Adversarial Networks

Alexis Bellot, Mihaela van der Schaar|arXiv (Cornell University)|Jul 9, 2019

Machine Learning and Algorithms参考文献 29被引用数 22

ひとこと要約

本稿では、生成的敵対的ネットワーク（GANs）を用いて帰無仮説の条件付き独立性をモデル化することで、高次元での検定が可能となる、新しい条件付き独立性検定を提案する。GANを用いて帰無仮説下のデータを生成することで、妥当な第一種の誤りの制御と、従来の手法に比べて優れた検出力が達成され、特に高次元設定において顕著な性能向上が示された。この手法は、合成データおよび遺伝子データを用いた検証で有効性が確認された。

ABSTRACT

We consider the hypothesis testing problem of detecting conditional dependence, with a focus on high-dimensional feature spaces. Our contribution is a new test statistic based on samples from a generative adversarial network designed to approximate directly a conditional distribution that encodes the null hypothesis, in a manner that maximizes power (the rate of true negatives). We show that such an approach requires only that density approximation be viable in order to ensure that we control type I error (the rate of false positives); in particular, no assumptions need to be made on the form of the distributions or feature dependencies. Using synthetic simulations with high-dimensional data we demonstrate significant gains in power over competing methods. In addition, we illustrate the use of our test to discover causal markers of disease in genetic data.

研究の動機と目的

• 従来の手法がスパイルスな相関により検出力が低下する高次元データにおける条件付き独立性検定の課題に対処すること。
• 潜在的な分布や依存構造に関するパラメトリックな仮定を必要とせず、第一種の誤りの制御を維持する検定を開発すること。
• 条件付き独立性の帰無仮説下でデータを生成する生成モデルを活用することで、高次元設定における統計的検出力を向上させること。
• 遺伝子マーカーや薬物応答の関係など、複雑な高次元生物学的データにおける頑健な因果探索を可能にすること。

提案手法

• 帰無仮説 $\mathcal{H}_0: X \perp\!\!\!\perp Y|Z $ の下で、$X$ と $Y$ が $Z$ を条件として独立であるようなデータを生成する条件付きGANを訓練する。
• 生成されたサンプルを用いて、$\mathcal{H}_0$ の下での検定統計量の帰無分布を経験的に推定する。
• 実データと生成データの両方における $X$ と $Y$ 間の依存関係に基づいて、実データと生成データを区別するように訓練された識別器を用いて、検定統計量を定義する。
• 密度推定の正確さと検出力のバランスを取るために、ハイパーパrameter $\lambda$ を用いてGANを最適化し、第一種の誤りの制御を保証する。
• 数値積分を用いて、$\mathcal{H}_0$ の下での検定統計量の分布の下限を計算し、検定の妥当性を検証する。
• 実データにおける観測された検定統計量を、生成サンプルからの経験的帰無分布と比較して $p$-値を計算し、$\mathcal{H}_0$ の採否を決定する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな分布形を仮定しないGANベースのアプローチは、条件付き独立性検定において、有限標本でも妥当な第一種の誤りの制御を達成できるか？
• RQ2 従来のカーネルベースおよびパーミュテーションベースの検定が失敗する高次元設定において、提案手法は高い統計的検出力を維持できるか？
• RQ3 密度推定の品質と検出力のトレードオフが、GANベースの検定の性能にどのように影響するか？
• RQ4 本手法は、突然変異と薬物応答の関係など、現実の遺伝子データにおける非線形かつ高次元の依存関係を効果的に同定できるか？
• RQ5 カーネルベース検定、パーミュテーション検定、およびエラスティックネット回帰と比較して、本手法は因果関連遺伝子マーカーをどのように効果的に特定できるか？

主な発見

• 提案されたGANベースの条件付き独立性検定（GCIT）は、パラメトリックな仮定を必要とせず、高次元設定においても有限標本で概ね妥当な第一種の誤りの制御を達成した。
• 合成シミュレーションでは、次第に次元が高くなるに従い、競合手法に比べて顕著な検出力の向上を示し、条件付き依存関係の検出性能が向上した。
• CCLEデータセットからの実際の遺伝子データでは、GCITは生物学的に意味のあるマーカー（PIP5K1A や MAP3K5）が薬物応答と条件付きで依存していることを同定した。これは、既存の生物学的証拠と整合的であった。
• FLT3遺伝子に関しては、GCITは条件付き依存関係がないと正しく同定し、その後の遺伝子研究によってその妥当性が裏付けられた。これは、偽陽性を避ける信頼性の高さを示している。
• 非線形依存関係の同定において、エラスティックネット回帰やランダムフォレストの重要度スコアに比べ、本手法が優れた性能を示した。これは、複雑な関係を捉える優位性を示している。
• GANの訓練品質と検出力のトレードオフは、実験的に検証された：$\lambda$ の値が高いほど検出力が向上したが、第一種の誤りの制御がわずかに劣化した。図3には明確なトレードオフの傾向が示された。