[论文解读] Bounding and Minimizing Counterfactual Error.

Uri Shalit, Fredrik Johansson+1 more|arXiv (Cornell University)|Jun 13, 2016

Advanced Causal Inference Techniques被引用 8

一句话总结

本文提出了一种基于平衡表示的反事实误差的新理论界，表明其受事实误差和通过积分概率度量（IPM）衡量的事实与反事实分布距离的控制——特别是Wasserstein和MMD。该界允许设计更简单、更高效的算法，在真实和模拟数据上表现达到或超过当前最先进水平。

ABSTRACT

There is intense interest in applying machine learning methods to problems of causal inference which arise in applications such as healthcare, economic policy, and education. In this paper we use the counterfactual inference approach to causal inference, and propose new theoretical results and new algorithms for performing counterfactual inference. Building on an idea recently proposed by Johansson et al., our results and methods rely on learning so-called balanced representations: representations that are similar between the factual and counterfactual distributions. We give a novel, simple and intuitive bound, showing that the expected counterfactual error of a representation is bounded by a sum of the factual error of that representation and the distance between the factual and counterfactual distributions induced by the representation. We use Integral Probability Metrics to measure distances between distributions, and focus on two special cases: the Wasserstein distance and the Maximum Mean Discrepancy (MMD) distance. Our bound leads directly to new algorithms, which are simpler and easier to employ compared to those suggested in Johansson et al.. Experiments on real and simulated data show the new algorithms match or outperform state-of-the-art methods.

研究动机与目标

• 解决在医疗保健和政策等应用中因果推理里准确反事实推断的挑战。
• 开发一种理论基础扎实且实用的方法，以最小化基于表示的因果推断中的反事实误差。
• 提供一种新颖且直观的界，将反事实误差与事实误差和分布差异联系起来。
• 设计比以往方法（如Johansson等人提出的方法）更简单、更易部署的算法。

提出的方法

• 提出一种新的理论界，其中期望反事实误差被限制在事实误差与表示下事实和反事实分布之间距离的总和之内。
• 使用积分概率度量（IPM）来衡量分布距离，重点关注Wasserstein和最大均值差异（MMD）。
• 通过一种平衡事实和反事实分布的表示来构建该界，以最小化误差和分布差异。
• 推导出直接最小化反事实误差上界的新型优化目标。
• 设计比以往方法更简单、更高效的算法，通过直接优化该界。
• 将该方法应用于真实和模拟数据集，以评估性能和鲁棒性。

实验结果

研究问题

• RQ1 如何利用表示学习和分布距离对反事实误差进行理论界约束？
• RQ2 能否从反事实误差的新理论界出发，推导出更简单、更高效的算法？
• RQ3 在反事实推断中，Wasserstein和MMD距离在衡量分布差异方面有何比较？
• RQ4 所提出的算法在真实世界和模拟环境中在多大程度上优于当前最先进方法？

主要发现

• 所提出的界表明，反事实误差受表示的事实误差以及事实与反事实分布之间IPM距离的控制。
• 该界直接导出新的优化目标，比Johansson等人提出的方法更简单、更实用。
• 实验表明，新算法在真实和模拟数据集上的表现达到或超过当前最先进水平。
• 使用MMD和Wasserstein距离作为IPM度量，可有效且稳定地估计反事实设定中的分布差异。