[論文レビュー] Learning Overlapping Representations for the Estimation of Individualized Treatment Effects

Yao Zhang, Alexis Bellot+1 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Causal Inference Techniques被引用数 42

ひとこと要約

論文は、ドメイン不変表現が観察データからの因果効果推定にはしばしば適さないことを主張し、 counterfactual 分散を正則化し、逆転可能な表現を介して情報を保持して ITE 推定を改善する深層カーネル学習フレームワーク (DKLITE) を導入している。

ABSTRACT

The choice of making an intervention depends on its potential benefit or harm in comparison to alternatives. Estimating the likely outcome of alternatives from observational data is a challenging problem as all outcomes are never observed, and selection bias precludes the direct comparison of differently intervened groups. Despite their empirical success, we show that algorithms that learn domain-invariant representations of inputs (on which to make predictions) are often inappropriate, and develop generalization bounds that demonstrate the dependence on domain overlap and highlight the need for invertible latent maps. Based on these results, we develop a deep kernel regression algorithm and posterior regularization framework that substantially outperforms the state-of-the-art on a variety of benchmarks data sets.

研究の動機と目的

• Covariate shift の下で counterfactual 推論の domain-invariant 表現の限界を動機づける。
• posterior counterfactual variance と invertible 表現による正則化で ITE の一般化を改善する。
• 柔軟な損失項のための posterior 正則化を備えた深層カーネル学習フレームワーク (DKLITE) を開発。
• counterfactual-variance 正則化が最先端手法をベンチマークデータセットで上回る実証的証拠を提供。

提案手法

• 潜在アウトカムフレームワークの一貫性/ ignorability/ overlap の仮定の下で ITE 推定を定式化する。
• f_t(x)=w_t^T φ(x) で φ はニューラルネットワークにより学習され、w_t に事前分布を置き、事後分布をモデル化する深層カーネル学習モデルを導入する。
• counterfactual variance term Var_hatρ_t(X_{1−t}) による counterfactual overlap の正則化と、φ(X) から X を再構成するデコーダー ψ による可逆性制約を用いて情報を保存する。
• 最終損失を導出: L_fin = L_lik + α1 L_var + α2 L_rec、L_lik は実データの負の対数尤度、L_var は counterfactual variance をペナルティ、L_rec は表現の可逆性を強制する。
• 正則化されたベイズフレームワーク内で最適化し、予測分布 f_t(x) ~ N(μ(x|D_t,Θ_t), σ^2(x|D_t,Θ_t)) を得る。
• counterfactual-variance 正則化を含めると一般化と不確実性推定が改善されることを示す。

実験結果

リサーチクエスチョン

• RQ1 観測データからの個別治療効果の identifiability/推定を counterfactual variance 正則化は改善できるか？
• RQ2 treated と control の全分布の同一性を厳密に適用する domain invariance は ITE の一般化に過度に厳しいのではなく、overlap だけで足りるか？
• RQ3 invertible 表現（デコーダー） は情報量を保持し ITE 予測を改善するか？
• RQ4 提案する DKLITE フレームワークは最先端のベースラインとベンチマーク因果推論データセットでどのように性能を発揮するか？

主な発見

• DKLITE は IHDP、Twins、Jobs データセットで in-sample および out-of-sample の両方で最先端手法を上回る。
• counterfactual-variance 正則化と可逆性の導入は、特に小データ領域で顕著な性能向上をもたらす。
• 尤度、counterfactual variance、再構成損失を共同で最適化することで、単一項を最適化する場合より相乗的な改善をもたらす。
• 予測不確実性は活用可能（DKLITE-U）で、不確実なケースに注意を向けることで性能をさらに向上させる。