[论文解读] Learning Decomposed Representation for Counterfactual Inference

Anpeng Wu, Kun Kuang+6 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Causal Inference Techniques参考文献 39被引用 6

一句话总结

该论文提出 DeR-CFR，一种新颖的框架，通过解耦表示学习显式地将预处理变量分解为工具变量、混杂因子和调整因子。通过仅识别并平衡混杂因子，避免非混杂因子带来的偏差，该方法在观测研究中的处理效应估计上优于现有基线方法。

ABSTRACT

The fundamental problem in treatment effect estimation from observational data is confounder identification and balancing. Most of the previous methods realized confounder balancing by treating all observed pre-treatment variables as confounders, ignoring further identifying confounders and non-confounders. In general, not all the observed pre-treatment variables are confounders that refer to the common causes of the treatment and the outcome, some variables only contribute to the treatment and some only contribute to the outcome. Balancing those non-confounders, including instrumental variables and adjustment variables, would generate additional bias for treatment effect estimation. By modeling the different causal relations among observed pre-treatment variables, treatment and outcome, we propose a synergistic learning framework to 1) identify confounders by learning decomposed representations of both confounders and non-confounders, 2) balance confounder with sample re-weighting technique, and simultaneously 3) estimate the treatment effect in observational studies via counterfactual inference. Empirical results on synthetic and real-world datasets demonstrate that the proposed method can precisely decompose confounders and achieve a more precise estimation of treatment effect than baselines.

研究动机与目标

• 为解决先前方法将所有预处理变量视为混杂因子所带来的处理效应估计偏差和方差增加的局限性。
• 显式识别并分离观测到的预处理特征中的工具变量、混杂因子和调整变量。
• 开发一种协同学习框架，通过样本重加权实现混杂因子平衡，并实现准确的反事实推理。
• 通过避免对非混杂因子（如工具变量和调整变量）进行不必要的平衡，降低处理效应估计的偏差和方差。

提出的方法

• 该方法采用多流神经网络，从预处理特征 X 中学习三种潜在因子（工具变量 I、混杂因子 C 和调整因子 A）的解耦表示。
• 使用带约束的多术语目标函数以强制实现解耦：最小化 I 与 Y 之间的互信息，最大化 I 与 T 之间的互信息，C 和 A 同理。
• 通过确保 C 同时是处理 T 和结果 Y 的共同原因，I 仅影响 T，A 仅影响 Y，实现混杂因子的识别。
• 在处理效应估计中应用样本重加权以平衡混杂因子（C），从而减少选择偏差。
• 框架利用互信息边界（CLUB）优化解耦过程，防止过拟合。
• 利用解耦表示执行反事实推理，以估计不同处理条件下潜在结果。

实验结果

研究问题

• RQ1 深度学习框架能否准确地将预处理变量分解为三种不同的因果因子：工具变量、混杂因子和调整因子？
• RQ2 显式解耦这些因子是否能相比将所有变量视为混杂因子的方法，提升处理效应估计性能？
• RQ3 避免对非混杂因子（如工具变量和调整变量）进行平衡，在多大程度上能降低处理效应估计的偏差和方差？
• RQ4 在不同数据分布和噪声水平下，解耦性能的鲁棒性如何？

主要发现

• 可视化和互信息分析表明，与基线 DR-CFR 相比，DeR-CFR 在三种潜在因子（I、C、A）的解耦方面表现显著更优。
• 在合成数据集上，与 DR-CFR 及其他 SOTA 基线方法相比，DeR-CFR 将处理效应估计误差降低了高达 40%。
• 互信息分析证实，DeR-CFR 学习到的表示中，I 与 T 高度相关但与 Y 弱相关，C 同时与 T 和 Y 相关，A 与 T 弱相关但与 Y 高度相关。
• 超参数分析表明，α 和 λ（分别控制调整因子分解和模型复杂度）对性能影响最大，验证了准确解耦的重要性。
• 该方法在所有设置下均优于 DR-CFR，尤其在高维和噪声较大的预处理变量场景中表现更优。
• 由于显式分解约束，该框架成功防止了过拟合并确保调整因子未坍缩为空集，而 DR-CFR 则存在此类问题。