[论文解读] Generalization Bounds and Representation Learning for Estimation of Potential Outcomes and Causal Effects

Fredrik Johansson, Uri Shalit+2 more|arXiv (Cornell University)|Jan 21, 2020

Machine Learning in Healthcare参考文献 78被引用 32

一句话总结

本文从观测数据出发，利用分布距离、表示学习和样本再加权，推导潜在结果估计和 CATE 的泛化上界，给出理论保证与实验。

ABSTRACT

Practitioners in diverse fields such as healthcare, economics and education are eager to apply machine learning to improve decision making. The cost and impracticality of performing experiments and a recent monumental increase in electronic record keeping has brought attention to the problem of evaluating decisions based on non-experimental observational data. This is the setting of this work. In particular, we study estimation of individual-level causal effects, such as a single patient's response to alternative medication, from recorded contexts, decisions and outcomes. We give generalization bounds on the error in estimated effects based on distance measures between groups receiving different treatments, allowing for sample re-weighting. We provide conditions under which our bound is tight and show how it relates to results for unsupervised domain adaptation. Led by our theoretical results, we devise representation learning algorithms that minimize our bound, by regularizing the representation's induced treatment group distance, and encourage sharing of information between treatment groups. We extend these algorithms to simultaneously learn a weighted representation to further reduce treatment group distances. Finally, an experimental evaluation on real and synthetic data shows the value of our proposed representation architecture and regularization scheme.

研究动机与目标

• 在风险最小化视角下研究在观测数据下的个体级潜在结果和因果效应的估计。
• 基于治疗组之间的分布距离，给出泛化上界。
• 发展表示学习与加权算法，以最小化上界并提升跨组信息共享。
• 在真实数据和合成数据上展示有限样本保证与实际性能。

提出的方法

• 在 Neyman-Rubin 框架下定义潜在结果和 CATE，并识别假设（可忽略性、重叠性、SUTVA）。
• 利用治疗组之间的分布距离，推导对潜在结果和 CATE 的边际风险的风险上界。
• 引入样本再加权以对齐治疗/对照分布，并将其与倾向得分式加权相关联。
• 提出学习算法，优化带权经验风险的潜在结果，并在表示空间的治疗距离上引入正则化项。
• 扩展上界以包含学习得到的（可逆的）表示，这些表示降低治疗组距离的同时实现治疗间信息共享。
• 给出所提估计量的一致性和有限样本保证的条件。

实验结果

研究问题

• RQ1 我们如何在观测数据中对估计潜在结果和 CATE 的泛化误差进行界定？
• RQ2 治疗组之间的分布距离如何影响因果估计的偏差和方差，重新加权如何帮助？
• RQ3 表示学习是否能降低治疗组距离并在保持可辨识性假设的同时提升有限样本性能？
• RQ4 在部分重叠的设置中，学习得到的表示在何种条件下能给出一致的因果效应估计？

主要发现

• 泛化上界将潜在结果预测的边际风险与治疗组之间的分布距离联系起来。
• 样本再加权可缓解混杂带来的偏差并控制方差，在权重均匀性与密度比大小之间进行权衡。
• 学习可逆表示能够降低跨组距离，在治疗组重叠时提升泛化性。
• 将表示学习与再加权风险相结合的算法在合成数据和真实数据上实现了更好的有限样本性能。
• 在部分重叠的情形下，边界仍具信息量，并且在相应假设下可以建立一致性。