[论文解读] Conformal prediction intervals for the individual treatment effect

Danijel Kivaranovic, Robin Ristl+2 more|arXiv (Cornell University)|Jun 2, 2020

Statistical Methods and Inference参考文献 15被引用 6

一句话总结

本文在非参数回归设定下，为个体治疗效应（ITE）提出基于符合性推断框架的符合性预测区间，提供有限样本或渐近覆盖保证。结果表明，当样本量较大时，复杂模型（如神经网络）可产生比线性模型更窄的预测区间，为个性化医疗决策提供可靠的不确定性量化。

ABSTRACT

We propose several prediction intervals procedures for the individual treatment effect with either finite-sample or asymptotic coverage guarantee in a non-parametric regression setting, where non-linear regression functions, heteroskedasticity and non-Gaussianity are allowed. The construct the prediction intervals we use the conformal method of Vovk et al. (2005). In extensive simulations, we compare the coverage probability and interval length of our prediction interval procedures. We demonstrate that complex learning algorithms, such as neural networks, can lead to narrower prediction intervals than simple algorithms, such as linear regression, if the sample size is large enough.

研究动机与目标

• 为解决个性化医疗中个体治疗效应（ITE）预测的可靠不确定性量化需求。
• 在一般非参数回归假设（包括非线性、异方差性和非高斯误差）下，开发保持有效覆盖的ITE预测区间。
• 将符合性推断框架扩展至处理组与对照组潜在结果的差异，克服未观测到反事实结果的挑战。
• 在各种模拟设定下，比较不同预测区间方法在覆盖概率和区间长度方面的表现。
• 评估复杂机器学习模型（如神经网络）是否能在保持覆盖性的前提下，优于简单模型（如线性回归）在区间宽度方面的表现。

提出的方法

• 采用Vovk等人（2005）的符合性预测框架，构建个体治疗效应的预测区间，无需分布假设。
• 通过分别对处理组和对照组的结果使用回归模型（如线性模型、神经网络）建模，再计算预测值的差异作为ITE估计。
• 采用两步符合性程序：首先，为每种治疗条件下结果构建边际预测区间；其次，利用预测值和残差的差异组合形成ITE的区间。
• 应用有限样本符合性推断（定理1和2）与渐近符合性推断（定理3），后者要求预测过程的一致性及误差的正态分布。
• 通过交换性和对称性论证，利用训练数据中符合性得分的分布，确保有效覆盖。
• 在渐近设定中采用分样本方法（定理5），即使用训练集拟合模型，验证集计算符合性得分，以保证条件交换性。

实验结果

研究问题

• RQ1 当反事实结果未被观测到时，是否可将符合性预测扩展至构建个体治疗效应的有效预测区间？
• RQ2 基于复杂模型（如神经网络）的预测区间是否在保持有限样本或渐近覆盖的前提下，产生比线性模型更窄的区间？
• RQ3 在不同回归模型和样本规模下，ITE的符合性预测区间在覆盖性和区间长度方面的表现如何比较？
• RQ4 渐近符合性区间在何种理论条件下可实现更短的区间长度，同时保持覆盖性？
• RQ5 高斯误差假设和模型一致性等假设在多大程度上影响最终预测区间的宽度和有效性？

主要发现

• 所提出的个体治疗效应符合性预测区间在弱假设下可实现精确的有限样本覆盖，即使回归函数为非线性、异方差或非高斯分布。
• 渐近符合性区间（定理3）在预测过程一致且误差近似正态分布时，显著短于有限样本对应区间（定理1和2）。
• 在模拟中，当样本量足够大时，神经网络产生的预测区间比线性回归更窄，表明在大样本情形下灵活模型具有优势。
• 所提区间的覆盖概率在所有模拟设定下均接近名义水平（如90%或95%），证实了符合性框架的稳健性。
• 该方法有效同时考虑了模型估计不确定性与ITE中的残差变异性，提供完整的不确定性量化框架。
• 即使结果分布为非高斯且回归函数为非线性，理论保证依然成立，使该方法在现实个性化医疗场景中具有广泛适用性。