[论文解读] Counterfactual Representation Learning with Balancing Weights

Serge Assaad, Shuxi Zeng+6 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Causal Inference Techniques参考文献 52被引用 4

一句话总结

本文提出平衡权重反事实回归（BWCFR），一种将平衡权重与表征学习相结合的方法，以缓解因果推断中特征平衡与预测能力之间的权衡。通过重新加权数据以聚焦于重叠性良好的区域，并从加权特征中学习表征，BWCFR 实现了更优的条件平均处理效应（CATE）估计，在合成数据、IHDP1000 和 ACIC2016 基准测试中均优于最先进基线方法。

ABSTRACT

A key to causal inference with observational data is achieving balance in predictive features associated with each treatment type. Recent literature has explored representation learning to achieve this goal. In this work, we discuss the pitfalls of these strategies - such as a steep trade-off between achieving balance and predictive power - and present a remedy via the integration of balancing weights in causal learning. Specifically, we theoretically link balance to the quality of propensity estimation, emphasize the importance of identifying a proper target population, and elaborate on the complementary roles of feature balancing and weight adjustments. Using these concepts, we then develop an algorithm for flexible, scalable and accurate estimation of causal effects. Finally, we show how the learned weighted representations may serve to facilitate alternative causal learning procedures with appealing statistical features. We conduct an extensive set of experiments on both synthetic examples and standard benchmarks, and report encouraging results relative to state-of-the-art baselines.

研究动机与目标

• 为缓解因果推断中表征学习时实现协变量平衡与保持预测能力之间的权衡而提出方法。
• 证明在表征学习之前进行加权，可通过聚焦于处理分配中重叠性良好的区域，提升平衡性与估计准确性。
• 开发一种可扩展、灵活的方法，利用加权表征估计条件平均处理效应（CATE）。
• 证明学习到的权重与表征可增强下游因果学习流程（如因果森林）的性能。
• 从理论上界定不平衡程度与倾向得分估计质量之间的关系。

提出的方法

• 通过重新加权训练数据以强调处理分配中重叠性良好的区域，将平衡权重整合到表征学习中。
• 使用神经网络从加权特征中学习表征，避免对原始特征直接施加平衡约束，以保留结果预测信息。
• 采用双重稳健估计器估计 ATE，结合结果回归与倾向得分模型，提升估计的稳健性。
• 设计三种权重方案：重叠权重（OW）、极小化最大权重（MW）和截断逆概率权重（TruncIPW），分别针对重叠性与稳定性的不同方面。
• 使用损失函数训练模型，该函数在加权结果上最小化预测误差，同时促进加权特征空间中的平衡性。
• 将学习到的表征与权重作为输入，用于替代性因果估计器（如因果森林），以提升性能。

实验结果

研究问题

• RQ1 将平衡权重整合到表征学习中，能否降低 CATE 估计中平衡性与预测能力之间的权衡？
• RQ2 通过加权聚焦特定人群，对下游因果推断的质量有何影响？
• RQ3 学习到的权重与表征在因果森林等替代因果学习流程中的性能提升程度如何？
• RQ4 倾向得分估计质量与协变量不平衡程度之间的理论关系为何？
• RQ5 在不同数据集上，不同权重方案（OW、MW、TruncIPW）在稳健性与估计准确性方面的表现如何比较？

主要发现

• 在 IHDP1000 基准测试中，BWCFR 取得了最先进性能，使用 TruncIPW 权重时 PEHE 为 0.65 ± 0.05，ATE 误差为 0.16 ± 0.02。
• 在 ACIC2016 竞赛数据集上，使用 BWCFR 表征与权重增强的因果森林在 77 个数据集中的 75 个上优于原始因果森林与独立神经网络。
• 结合因果森林与 BWCFR 表征及权重的混合模型，中位数 PEHE 为 0.66 ± 0.06，ATE 误差为 0.16 ± 0.02，优于独立深度模型与原始 CF。
• 双重稳健估计器在大多数模拟数据集上均显著降低 ATE 估计误差，某些情况下改善幅度达 30%。
• 在 ACIC2016 评估中，重叠权重（OW）表现最佳，表明聚焦于重叠性良好的区域可提升估计准确性。
• 理论分析证实，随着倾向得分模型质量提升，不平衡程度下降，为在表征学习中使用加权方法提供了形式化依据。