[論文レビュー] DeepMatch: Balancing Deep Covariate Representations for Causal Inference Using Adversarial Training

Nathan Kallus|arXiv (Cornell University)|Feb 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 22

ひとこと要約

DeepMatchは、画像などの複雑で高次元なデータを含む観察的研究における因果推論のため、深層共変量表現のバランスをとるための対抗的訓練手法を提案する。重み付けネットワークとディスクラミネーターをミニマックス訓練により同時に最適化することで、標準的な傾向スコアおよびマッチング手法を上回る共変量のバランスと統計的整合性を達成する。

ABSTRACT

We study optimal covariate balance for causal inferences from observational data when rich covariates and complex relationships necessitate flexible modeling with neural networks. Standard approaches such as propensity weighting and matching/balancing fail in such settings due to miscalibrated propensity nets and inappropriate covariate representations, respectively. We propose a new method based on adversarial training of a weighting and a discriminator network that effectively addresses this methodological gap. This is demonstrated through new theoretical characterizations of the method as well as empirical results using both fully connected architectures to learn complex relationships and convolutional architectures to handle image confounders, showing how this new method can enable strong causal analyses in these challenging settings.

研究の動機と目的

• 画像などの高次元または複雑な共変量に適用された際、標準的な因果推論手法（傾向スコア重み付けやマッチングなど）が機能しない問題に対処すること。
• 深層ニューラルネットワークによる傾向スコア推定の不安定さと不正確さが、二重にロバストで重み付けベースの因果推定器の信頼性を損なう問題を克服すること。
• 生の共変量における最適な共変量バランスに加え、ニューラルネットワークが学習する深層で非線形な表現においても最適なバランスを保証する手法を開発すること。
• 深層学習の表現力を利用しつつ、治療群と対照群のバランスを保つ統計的に整合的で柔軟なフレームワークを提供すること。

提案手法

• 治療群と対照群の間の不均衡を同定するディスクラミネーターが、重み付けネットワークとミニマックスゲームを形成する。
• ディスクラミネーターが重み付けされた治療群と対照群を区別できる能力に基づく、新たな判別的乖離指標を用いる。
• 生成対抗ネットワーク（GANs）に類似した交互勾配更新を用いた対抗的訓練により、ディスクラミネーターが不均衡を検出できないように重みを最適化する。
• 判別的乖離と重みに対するリッジ正則化項を組み合わせた正則化された目的関数を導入し、安定性を確保するとともに過学習を防ぐ。
• 弱い正則性条件の下で、理論的に統計的整合性が保証され、凸最適化および経験過程理論から収束の保証が得られる。
• 全結合および畝込みニューラルネットワークを用いて複雑な表現を学習し、画像ベースの交絡要因の設定に適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークが学習する高次元で非線形な表現において、対抗的訓練を用いて最適な共変量バランスを達成できるか？
• RQ2 共変量が複雑または画像ベースの場合、提案手法は標準的な傾向スコア重み付けおよびマッチング手法と比較して、バランスと推定精度の点で優れているか？
• RQ3 真の傾向スコアが深層ネットワークによって不正確に推定されても、この手法は統計的整合性と頑健性を維持できるか？
• RQ4 この手法は、観察的研究における画像的交絡要因を処理するために畝込みアーキテクチャに拡張可能か？
• RQ5 高次元設定におけるこの手法の整合性および収束特性の理論的根拠は何か？

主な発見

• 提案されたDeepMatch手法は、無偏性の下で統計的に整合的な因果推定を達成し、推定器が真の平均処置効果へ Op(Rn(F) + 1/√n) の速度で収束することが示された。ここで Rn(F) は関数族のラデマッハ複雑度である。
• 実験的結果から、特に非線形関係が複雑な設定において、標準的な傾向スコア手法と比較して共変量のバランスが著しく向上することが示された。
• 畝込みネットワークを用いて画像的交絡要因に適用した場合、従来手法が表現学習に失敗するため因果推定が困難となる状況でも、DeepMatchは効果的な因果推定を可能にする。
• 不正確な確率推定に依存しない対抗的訓練フレームワークのおかげで、不正確な傾向スコアに対しても頑健であることが示された。
• 理論的分析により、DeepMatchの最適な重みは判別的乖離指標を最小化することが示され、これが表現空間における不均衡の最小化と同等であることが証明された。
• 目的関数は凸であり、強い双対性が成り立つため、適切な条件下（例えばスレイター点の存在）では解がグローバルに最適であることが保証される。