[論文レビュー] Learning Decomposed Representation for Counterfactual Inference

Anpeng Wu, Kun Kuang+6 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Causal Inference Techniques参考文献 39被引用数 6

ひとこと要約

本稿では、事前処理変数を一貫して道具変数、交絡要因、補正要因に分解するための、解体表現学習を用いた新規フレームワークDeR-CFRを提案する。非交絡要因からのバイアスを回避しつつ、交絡要因のみをバランスさせるため、従来のベースラインと比較して、観察研究における処置効果推定がより正確になる。

ABSTRACT

The fundamental problem in treatment effect estimation from observational data is confounder identification and balancing. Most of the previous methods realized confounder balancing by treating all observed pre-treatment variables as confounders, ignoring further identifying confounders and non-confounders. In general, not all the observed pre-treatment variables are confounders that refer to the common causes of the treatment and the outcome, some variables only contribute to the treatment and some only contribute to the outcome. Balancing those non-confounders, including instrumental variables and adjustment variables, would generate additional bias for treatment effect estimation. By modeling the different causal relations among observed pre-treatment variables, treatment and outcome, we propose a synergistic learning framework to 1) identify confounders by learning decomposed representations of both confounders and non-confounders, 2) balance confounder with sample re-weighting technique, and simultaneously 3) estimate the treatment effect in observational studies via counterfactual inference. Empirical results on synthetic and real-world datasets demonstrate that the proposed method can precisely decompose confounders and achieve a more precise estimation of treatment effect than baselines.

研究の動機と目的

• すべての事前処理変数を交絡要因として扱う従来手法の限界に対処し、処置効果推定におけるバイアスと分散の増加を低減すること。
• 観測された事前処理特徴量から、道具変数、交絡要因、補正変数を明示的に特定・分離すること。
• 交絡要因のバランスをサンプル再重み付けによって実現し、正確な反実仮想推論を可能にする包括的学習フレームワークの開発。
• 道具変数や補正変数といった非交絡要因の無駄なバランスを回避することで、処置効果推定におけるバイアスと分散を低減すること。

提案手法

• 本手法は、事前処理特徴量Xから、道具変数（I）、交絡要因（C）、補正変数（A）という3つの潜在要因の分離表現を学ぶためのマルチストリームニューラルネットワークを採用する。
• 相互情報量の最小化（IとYの間）、最大化（IとTの間）を含む制約付きのマルチ項目的関数を用いて、分離の強制を実現する。CとAに対しても同様の論理を適用する。
• 交絡要因の特定は、Cが処置Tと結果Yの両方の共通原因であることを保証することで達成される。一方、IはTにのみ影響し、AはYにのみ影響する。
• 選択バイアスを低減するため、処置効果推定において交絡要因（C）のバランスを取るためにサンプル再重み付けを適用する。
• 分離の最適化と過学習の防止のため、相互情報量の境界（CLUB）をフレームワークが活用する。
• 分離表現を用いて反実仮想推論を実行し、異なる処置条件における潜在的結果を推定する。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、事前処理変数を道具変数、交絡要因、補正変数という3つの明確な因果要因に正確に分解できるか？
• RQ2 これらの要因の明示的分離は、すべての変数を交絡要因として扱う手法と比較して、処置効果推定を改善するか？
• RQ3 道具変数や補正変数といった非交絡要因のバランスを回避することで、処置効果推定におけるバイアスと分散はどの程度低減されるか？
• RQ4 異なるデータ分布やノイズレベル下でも、分離性能はどの程度頑健か？

主な発見

• 可視化と相互情報量分析の両方で、DeR-CFRがベースラインのDR-CFRと比較して、3つの潜在要因（I, C, A）の分離が顕著に優れていることが示された。
• 合成データセット上では、DeR-CFRはDR-CFRや他の最先端手法と比較して、処置効果推定誤差を最大40％まで低減した。
• 相互情報量分析により、DeR-CFRが学習する表現では、IがTと強く相関しているがYとは弱く、CがTとYの両方と相関しているのに対し、AはTとは弱く、Yとは強く相関していることが確認された。
• ハイパーパrameter分析から、α（補正要因分解を制御）とλ（モデルの複雑さを制御）が性能に最も強い影響を持つことが判明し、正確な分離の重要性が裏付けられた。
• 高次元かつノイズの多い事前処理変数を含む状況においても、DeR-CFRはDR-CFRを常に上回る性能を示した。
• 明示的な分解制約のおかげで、DeR-CFRはDR-CFRとは異なり、補正要因が空集合に収縮するのを防止し、過学習を効果的に回避した。