[論文レビュー] Intact-VAE: Estimating Treatment Effects under Unobserved Confounding

Pengzhou Wu, Kenji Fukumizu|arXiv (Cornell University)|Jan 17, 2021

Advanced Causal Inference Techniques参考文献 55被引用数 5

ひとこと要約

Intact-VAE は、交絡要因を潜在変数としてモデル化することにより、観察されない交絡要因下での個別的治療効果の同定と推定を可能にする、新しい変分オートエンコーダー枠組みを提案する。同定可能性理論と新規の B*-スコア概念を活用し、真の交絡要因やスコア分布の回復を必要とせず、バランスの取れた表現を実現することで、観察されない交絡要因下の半教師付きデータセットにおいて、最先端の手法を凌駉する一貫性のある推定を達成する。

ABSTRACT

NOTE: This preprint has a flawed theoretical formulation. Please avoid it and refer to the ICLR22 publication https://openreview.net/forum?id=q7n2RngwOM. Also, arXiv:2109.15062 contains some new ideas on unobserved Confounding. As an important problem of causal inference, we discuss the identification and estimation of treatment effects under unobserved confounding. Representing the confounder as a latent variable, we propose Intact-VAE, a new variant of variational autoencoder (VAE), motivated by the prognostic score that is sufficient for identifying treatment effects. We theoretically show that, under certain settings, treatment effects are identified by our model, and further, based on the identifiability of our model (i.e., determinacy of representation), our VAE is a consistent estimator with representation balanced for treatment groups. Experiments on (semi-)synthetic datasets show state-of-the-art performance under diverse settings.

研究の動機と目的

• 観察されない交絡要因が標準的な因果推論手法にバイアスをもたらす状況において、治療効果を推定する課題に対処すること。
• 真の交絡要因や予後スコアの回復を必要としない表現学習フレームワークを構築し、治療効果を同定すること。
• 新しい同定可能な VAE アーキテクチャを用いて、治療群間で表現がバランスするようにすること。
• やや弱い構造的仮定の下で、治療効果推定の理論的同定可能性と一貫性を確立すること。
• 多様な半教師付き設定において、最先端の手法と比較して実験的に性能を検証すること。

提案手法

• 観察されない交絡要因を潜在変数としてモデル化する表現学習フレームワークにおける変分オートエンコーダーの一種、Intact-VAE を導入する。
• 治療状態に依存する条件付き事前分布を採用し、処置群と対照群の両方の潜在表現を別々にモデル化可能にする。
• 真の交絡要因やスコア分布の回復を必要とせず、治療効果の同定可能性を確立するための新規理論的構成である B*-スコアを用いる。
• 非線形 ICA（例：iVAE）の同定可能性理論を応用し、表現関数の一意的かつ一貫した回復を保証する。
• 符号化器とデコーダーに構造的制約を課すことにより、治療群間での表現のバランスを確保し、推定の一貫性を促進する。
• ドロップアウトと勾配マスキングを用いたフルバッチ勾配降下法により、モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 真の交絡要因やスコア分布の回復を必要とせず、観察されない交絡要因下でも治療効果を一貫して推定できるか？
• RQ2 提案された Intact-VAE モデルは、同定可能性を保ちつつ、治療群間で表現がバランスしているか？
• RQ3 B*-スコアは、観察されない交絡要因が存在する状況下で、治療効果の理論的同定にどのように寄与するか？
• RQ4 Proxy やアウトカムのノイズのレベルが異なる半教師付き設定において、Intact-VAE は既存の最先端手法をどの程度凌駉するか？
• RQ5 非線形関係が複雑で観察されない交絡要因が存在する現実世界のデータに対しても、モデルは一般化可能か？

主な発見

• Intact-VAE は、観察されない交絡要因下の多様な半教師付きデータセットにおいて、個別的治療効果（CATE）推定で最先端の性能を達成する。
• 理論的分析と実証的検証により、バランスの取れた表現を有する一貫性のある推定が実現されていることが確認された。
• 実験では、Proxy ノイズが高水準（ジョイン日まで 0.699）であっても、およびアウトカムノイズが存在しても、ATE 推定の誤差が低く抑えられ、最良のベースラインと同等の性能を示した。
• 図 7～10 に示される可視化結果から、観察されない交絡要因下でも、回復された潜在表現が真の潜在構造と強く一致していることが示された。
• 治療状態に依存する条件付き事前分布が適用された場合でも、モデルの性能が安定しており、t=0 と t=1 に対して異なる変換が理論的に予測された通りに実現されていることが確認された。
• 標準的手法が観察されない交絡要因の影響で失敗する状況において、特に観察された交絡要因やインストゥルメンタル変数が存在しない環境で、本手法は既存のアプローチを上回った。