[論文レビュー] Double Generative Adversarial Networks for Conditional Independence Testing

Chengchun Shi, Tianlin Xu+2 more|arXiv (Cornell University)|Jun 3, 2020

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本稿では、2つのGANを用いてZの条件付き分布P(X|Z)とP(Y|Z)をモデル化し、一般化共分散尺度に基づく検定統計量を構築することで、高次元の条件付き独立性検定のための二重生成対抗ネットワーク（GAN）フレームワークを提案する。この手法は、弱く現実的であるがゆるい条件下でも漸近的に有効な第一種誤りの制御と、1に近づく検出力を持つことを示しており、従来の手法と比較して高い頑健性と優れた経験的性能を示している。

ABSTRACT

In this article, we study the problem of high-dimensional conditional independence testing, a key building block in statistics and machine learning. We propose an inferential procedure based on double generative adversarial networks (GANs). Specifically, we first introduce a double GANs framework to learn two generators of the conditional distributions. We then integrate the two generators to construct a test statistic, which takes the form of the maximum of generalized covariance measures of multiple transformation functions. We also employ data-splitting and cross-fitting to minimize the conditions on the generators to achieve the desired asymptotic properties, and employ multiplier bootstrap to obtain the corresponding $p$-value. We show that the constructed test statistic is doubly robust, and the resulting test both controls type-I error and has the power approaching one asymptotically. Also notably, we establish those theoretical guarantees under much weaker and practically more feasible conditions compared to the existing tests, and our proposal gives a concrete example of how to utilize some state-of-the-art deep learning tools, such as GANs, to help address a classical but challenging statistical problem. We demonstrate the efficacy of our test through both simulations and an application to an anti-cancer drug dataset. A Python implementation of the proposed procedure is available at https://github.com/tianlinxu312/dgcit.

研究の動機と目的

• 共変量Zが多次元的かつ高次元的であるような高次元設定における条件付き独立性検定の課題に取り組む。
• 高次元性と小標本サイズのため、従来の検定が第一種誤りを著しく上昇または検出力が低下するという限界を克服する。
• 最小限の仮定の下でも漸近的に有効な統計的厳密性を持つ、ディープラーニングベースの推論手順を開発する。
• GAN、データ分割、クロスフィット、マルチプライヤーブートストラップといった高度なツールを統合し、理論的保証と実用的頑健性を確保する。
• シミュレートデータおよび実世界の抗癌薬データセットの両方で、本手法の有効性を実証する。

提案手法

• 深層ニューラルネットワークを用いて、P(X|Z)とP(Y|Z)の条件付き分布を近似する2つの生成器を学習する二重GANフレームワークを提案する。
• XおよびYの複数の変換関数における一般化共分散尺度（GCM）の最大値として検定統計量を構築し、複雑な条件付き依存関係の検出を可能にする。
• データ分割とクロスフィットを用いて推定と推論を分離し、生成器の収束速度に依存するのを軽減し、より弱い仮定を許容する。
• マルチプライヤーブートストラップを用いて検定統計量の正確なp値を計算し、帰無仮説下での有効な推論を保証する。
• 両方の条件付き分布モデルを組み合わせた二重ロバスト推定を統合し、モデル不適合に対する耐性を高める。
• ニューラルネットワークの汎用近似性質を応用し、対立仮説下で非ゼロの一般化共分散が存在することを正当化する。

実験結果

リサーチクエスチョン

• RQ1 弱い正則性条件の下でも、深層生成モデルに基づくアプローチが、高次元の条件付き独立性検定において有効な第一種誤りの制御を達成できるか？
• RQ2 Zが高次元的で標本サイズが限られている状況でも、提案された二重GANフレームワークが高い統計的検出力を維持できるか？
• RQ3 一般化共分散尺度に基づく検定統計量は、従来の線形検定が見逃す複雑で非線形な条件付き依存関係を検出できるか？
• RQ4 データ分割とクロスフィットの統合は、GANベースの推論手順の理論的保証をどのように向上させるか？
• RQ5 GANがモデル化する条件付き分布の不適合に対して、この手法はどの程度頑健であるか？

主な発見

• 提案された検定は、従来の手法よりも著しく弱い条件下でも、漸近的に第一種誤り率を制御でき、実用的実行可能性が向上する。
• 対立仮説下で検定は漸近的に検出力が1に近づくことを示しており、条件付き依存関係の強力な検出能力を示している。
• 検定統計量は二重ロバストである。これは、X|ZまたはY|Zの生成器のいずれかが一貫して推定されれば、検定が有効であることを意味し、信頼性が向上する。
• シミュレーションでは、特にZが高次元の設定において、複数の競合手法を上回る検出力を示した。
• 実際の抗癌薬データセットを用いた経験的妥当性評価により、生物学的・医学的研究分野における実用的有用性が実証された。
• 理論的分析により、帰無仮説下で検定統計量が非退化分布に収束することが確認され、マルチプライヤーブートストラップによる正確なp値計算が可能であることが保証された。