[论文解读] Conformal Inference of Counterfactuals and Individual Treatment Effects

Lihua Lei, Emmanuel J. Candès|arXiv (Cornell University)|Jun 11, 2020

Advanced Causal Inference Techniques参考文献 80被引用 31

一句话总结

本文提出一个符合性推断框架，在潜在结果框架下为反事实和个体治疗效应生成有效预测区间，在随机试验中具有有限样本覆盖保证，在观察研究中具有双重鲁棒特性。

ABSTRACT

Evaluating treatment effect heterogeneity widely informs treatment decision making. At the moment, much emphasis is placed on the estimation of the conditional average treatment effect via flexible machine learning algorithms. While these methods enjoy some theoretical appeal in terms of consistency and convergence rates, they generally perform poorly in terms of uncertainty quantification. This is troubling since assessing risk is crucial for reliable decision-making in sensitive and uncertain environments. In this work, we propose a conformal inference-based approach that can produce reliable interval estimates for counterfactuals and individual treatment effects under the potential outcome framework. For completely randomized or stratified randomized experiments with perfect compliance, the intervals have guaranteed average coverage in finite samples regardless of the unknown data generating mechanism. For randomized experiments with ignorable compliance and general observational studies obeying the strong ignorability assumption, the intervals satisfy a doubly robust property which states the following: the average coverage is approximately controlled if either the propensity score or the conditional quantiles of potential outcomes can be estimated accurately. Numerical studies on both synthetic and real datasets empirically demonstrate that existing methods suffer from a significant coverage deficit even in simple models. In contrast, our methods achieve the desired coverage with reasonably short intervals.

研究动机与目标

• 动机：在个体治疗效应（ITE）中进行不确定性量化的需求，超越平均治疗效应（ATE）/条件平均治疗效应（CATE）。
• 发展一种符合性推断方法，在潜在结果框架下为 Y(1)、Y(0) 和 Y(1)-Y(0) 构建区间估计。
• 在随机试验中提供有限样本覆盖保证，在观察性设置中提供双重鲁棒覆盖。
• 通过加权符合性推断在协变量分布发生漂移时解决反事实推断，并探讨泛化/可迁移性扩展。
• 展示经验性能，在保持相对较短区间的同时实现优于现有方法的覆盖效果。

提出的方法

• 采用符合性推断构建对 Y(1)、Y(0) 和 ITE 在潜在结果条件下具有保证边际覆盖的预测区间。
• 使用加权分割符合性推断来处理训练分布和目标分布之间的协变量漂移。
• 将权重与倾向得分联系起来，并讨论对 ATE/ATT/ATC 及可泛化性的重要性。
• 证明随机试验（具有已知或分层化的倾向得分）下的有限样本覆盖保证，以及当结果模型或处理模型其中之一正确时的双重鲁棒覆盖。
• 将该框架扩展到一般因果推断设置，包括第5节讨论的因果图和不变性预测。

实验结果

研究问题

• RQ1 在随机化和强忽略假设下，是否能够构建针对反事实结果和ITE的有效的有限样本预测区间？
• RQ2 加权符合性推断如何适应协变量漂移和观察性研究，是否能够实现双重鲁棒覆盖？
• RQ3 倾向得分和重叠在实现 Y(1)、Y(0) 和 Y(1)-Y(0) 的有效区间估计中的作用是什么？
• RQ4 如何将符合性推断扩展到可泛化/可迁移性设置以及其他因果框架？
• RQ5 与现有的不确定性量化方法相比，所提出的区间在覆盖率和区间宽度方面是否提供实际改进？

主要发现

• 加权分割符合性推断在随机试验和观察性研究中对 Y(1)、Y(0) 和 ITE 提供有限样本覆盖保证，具有双重鲁棒性：只要倾向得分或条件结果分位数中的任意一个准确，便足以获得大致有效的覆盖。
• 在完全随机化或分层随机化且遵从性完美的实验中，该方法在有限样本内实现覆盖率，无需强模型假设。
• 在观察性研究或存在不完美遵从性的随机试验中，只要倾向得分被准确估计或条件分位数被准确估计，方法仍然有效。
• 该方法自然扩展到泛化/可迁移性设置，并且可以适应其他因果框架，如因果图和不变性预测。
• 实证研究（合成数据和真实数据）表明，现有方法往往存在覆盖不足，而所提出的符合性区间在覆盖率达到目标的同时区间宽度相对较短。