[论文解读] Doubly Robust Calibration of Prediction Sets under Covariate Shift

Yachong Yang, Arun Kumar Kuchibhotla+1 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出了一种双重稳健框架，用于在协变量偏移条件下构建校准良好的预测集，利用高效影响函数和机器学习预测器。若倾向得分或条件响应分布之一被一致估计，则该方法可保证渐近有效的覆盖概率，将分位数预测推广至非交换数据，并对模型误设具有鲁棒性。

ABSTRACT

Conformal prediction has received tremendous attention in recent years and has offered new solutions to problems in missing data and causal inference; yet these advances have not leveraged modern semiparametric efficiency theory for more robust and efficient uncertainty quantification. In this paper, we consider the problem of obtaining distribution-free prediction regions accounting for a shift in the distribution of the covariates between the training and test data. Under an explainable covariate shift assumption analogous to the standard missing at random assumption, we propose three variants of a general framework to construct well-calibrated prediction regions for the unobserved outcome in the test sample. Our approach is based on the efficient influence function for the quantile of the unobserved outcome in the test population combined with an arbitrary machine learning prediction algorithm, without compromising asymptotic coverage. Next, we extend our approach to account for departure from the explainable covariate shift assumption in a semiparametric sensitivity analysis for potential latent covariate shift. In all cases, we establish that the resulting prediction sets eventually attain nominal average coverage in large samples. This guarantee is a consequence of the product bias form of our proposal which implies correct coverage if either the propensity score or the conditional distribution of the response is estimated sufficiently well. Our results also provide a framework for construction of doubly robust prediction sets of individual treatment effects, under both unconfoundedness and allowing for some degree of unmeasured confounding. Finally, we discuss aggregation of prediction sets from different machine learning algorithms for optimal prediction and illustrate the performance of our methods in both synthetic and real data.

研究动机与目标

• 解决测试数据协变量分布与训练数据不一致（协变量偏移）时构建校准良好预测集的挑战。
• 开发一种方法，在弱假设下仍能保持名义覆盖概率，即使两个干扰模型（倾向得分或条件响应）之一被误设。
• 通过结合半参数效率理论与双重稳健估计，将分位数预测扩展至非交换数据。
• 提供一种框架，用于在无混淆性假设下构建个体处理效应的预测集，基于相同的理论基础。
• 通过似然比参数化方法，实现对可解释协变量偏移假设偏离的敏感性分析。

提出的方法

• 提出三种变体：Split、Full 和 Efficient Doubly Robust Prediction，每种均结合机器学习与双重稳健估计。
• 利用测试总体中结果变量分位数的高效影响函数来构建预测集。
• 采用乘积偏差结构：若倾向得分或条件响应模型之一被一致估计，则覆盖误差消失。
• 在可解释协变量偏移假设下，基于测试与训练协变量密度之比引入加权方案。
• 将 Yang 和 Kuchibhotla (2021) 提出的 EFCP（高效分位数预测）算法进行适应性改进，以提升实际性能。
• 支持从多个机器学习算法聚合预测集，以增强鲁棒性与准确性。

实验结果

研究问题

• RQ1 当训练与测试数据在协变量分布上不一致时，预测集是否仍能保持名义覆盖概率？
• RQ2 所提出的方法是否在覆盖概率上实现双重稳健性，即只要倾向得分或条件响应模型之一被一致估计，即可保证正确覆盖？
• RQ3 该框架如何扩展至在无混淆性假设下构建个体处理效应的预测集？
• RQ4 该方法能否适应于对未测量混杂或可解释协变量偏移假设违反的敏感性分析？
• RQ5 能否通过最优加权与影响函数理论，使该方法比标准交叉验证方法更高效？

主要发现

• 所提出的预测集在最小正则性条件下实现渐近有效覆盖，覆盖偏差具有乘积形式。
• 若倾向得分或条件响应分布之一被一致估计，则覆盖概率可保证，确保双重稳健性。
• 高效双重稳健预测算法的效率被推测接近已知最优预测区间的“理想”情形。
• 该框架自然可扩展至无混淆性假设下的个体处理效应预测，实现在个体层面的不确定性量化。
• 通过似然比参数化可整合敏感性分析，从而评估对未测量混杂的稳健性。
• 在合成数据与真实数据上的实证结果表明，该方法在有限样本下性能优于基线方法。