[论文解读] Learning Overlapping Representations for the Estimation of Individualized Treatment Effects

Yao Zhang, Alexis Bellot+1 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Causal Inference Techniques被引用 42

一句话总结

本文认为领域不变表示在从观测数据估计因果效应方面往往不适用，并提出一个深度核学习框架（DKLITE），通过对反事实方差进行正则化并通过可逆表示来保留信息，从而提升ITE估计。

ABSTRACT

The choice of making an intervention depends on its potential benefit or harm in comparison to alternatives. Estimating the likely outcome of alternatives from observational data is a challenging problem as all outcomes are never observed, and selection bias precludes the direct comparison of differently intervened groups. Despite their empirical success, we show that algorithms that learn domain-invariant representations of inputs (on which to make predictions) are often inappropriate, and develop generalization bounds that demonstrate the dependence on domain overlap and highlight the need for invertible latent maps. Based on these results, we develop a deep kernel regression algorithm and posterior regularization framework that substantially outperforms the state-of-the-art on a variety of benchmarks data sets.

研究动机与目标

• 在covariate shift 下为对反事实推断的领域不变表示的局限性提供动机。
• 通过后验反事实方差和可逆表示的正则化来提升ITE泛化能力。
• 开发一个带后验正则化的深度核学习框架（DKLITE），以实现对灵活损失项的适应。
• 提供经验证据，表明反事实方差正则化在基准数据集上优于最先进的方法。

提出的方法

• 在潜在结果框架下，基于一致性/ ignorability/ overlap 假设来公式化ITE估计。
• 引入一个深度核学习模型，其中 f_t(x)=w_t^T φ(x)，φ 由神经网络学习；对 w_t 设先验并对模型后验分布进行建模。
• 通过反事实方差项 Var_hatρ_t(X_{1−t}) 对后验进行正则化以鼓励反事实重叠，并通过可逆性约束（解码器 ψ）从 φ(X) 重构 X，以保持信息。
• 推导最终损失： L_fin = L_lik + α1 L_var + α2 L_rec，其中 L_lik 是对事实数据的负对数似然，L_var 对反事实方差进行惩罚，L_rec 强制表示的可逆性。
• 在正则化贝叶斯框架内进行优化，得到预测分布 f_t(x) ~ N(μ(x|D_t,Θ_t), σ^2(x|D_t,Θ_t))。
• 证明包含反事实方差正则化可以改善泛化性和不确定性估计。

实验结果

研究问题

• RQ1 反事实方差正则化是否可以提高对观测数据中个体化治疗效应的可辨识性/估计能力？
• RQ2 在ITE泛化中，强制治疗组与对照组之间的分布等同性（领域不变性）是否过于严格，是否重叠即可？
• RQ3 通过解码器实现的可逆表示是否能保持信息量并改善ITE预测？
• RQ4 所提的DKLITE框架在基准因果推断数据集上的表现如何相对于最先进的基线？

主要发现

• DKLITE 在 IHDP、Twins、Jobs 数据集上在样本内和样本外都超越了最先进方法。
• 引入反事实方差正则化和可逆性使得性能显著提升，尤其在小数据情形下。
• 联合优化似然、反事实方差和重建损失相对于单独优化任一项带来协同提升。
• 可预测的不确定性可被利用（DKLITE-U）在关注不确定案例时进一步提升性能。