[论文解读] Conformal Prediction using Conditional Histograms

Matteo Sesia, Yaniv Romano|arXiv (Cornell University)|May 18, 2021

Statistical Methods and Inference参考文献 27被引用 11

一句话总结

本文提出了一种符合性直方图回归（Conformal Histogram Regression, CHR）方法，该方法利用黑箱机器学习模型通过直方图估计条件密度，并构建具有有限样本边际覆盖性和渐近条件覆盖性的预测区间。该方法通过反转基于直方图的密度估计得出的符合性评分，自适应地选择最短区间，在模型一致性的前提下实现最优区间长度，并在模拟数据和真实世界数据上优于最先进的方法，如校准分位数回归（conformalized quantile regression）和分布式符合性预测（distributional conformal prediction）。

ABSTRACT

This paper develops a conformal method to compute prediction intervals for non-parametric regression that can automatically adapt to skewed data. Leveraging black-box machine learning algorithms to estimate the conditional distribution of the outcome using histograms, it translates their output into the shortest prediction intervals with approximate conditional coverage. The resulting prediction intervals provably have marginal coverage in finite samples, while asymptotically achieving conditional coverage and optimal length if the black-box model is consistent. Numerical experiments with simulated and real data demonstrate improved performance compared to state-of-the-art alternatives, including conformalized quantile regression and other distributional conformal prediction approaches.

研究动机与目标

• 开发一种符合性预测方法，为偏斜数据的非参数回归生成短而有效的预测区间。
• 在模型一致性的前提下，确保有限样本边际覆盖性和渐近条件覆盖性。
• 通过基于直方图的密度估计，自适应地根据条件分布形状调整区间长度，从而超越现有符合性方法。
• 提供一种实用的、兼容黑箱模型的框架，在保持理论保证的同时提升区间的紧凑性。

提出的方法

• 该方法使用在训练数据上训练的黑箱模型，通过直方图表示，估计给定X下Y的条件密度。
• 基于估计的条件密度，计算校准点的符合性评分，以衡量每个观测值在模型下的典型程度。
• 通过反转符合性评分函数构建预测区间，以找到包含测试点且具有近似条件覆盖性的最短区间。
• 通过确定围绕预测值的最小范围来选择区间长度，该范围需捕获足够比例的校准评分。
• 使用数据驱动的阈值 τ̂ 来调整模型估计误差，确保有效的边际覆盖。
• 该方法具有坚实的理论基础：在有限样本下保证边际覆盖性，并在黑箱模型一致的前提下，渐近实现条件覆盖性和最优区间长度。

实验结果

研究问题

• RQ1 能否设计一种符合性预测方法，在保持有限样本边际覆盖性和渐近条件覆盖性的前提下，为偏斜的、非独立同分布的数据生成更短的预测区间？
• RQ2 如何将基于直方图的密度估计整合到符合性预测中，以自适应地捕捉条件分布的形状？
• RQ3 所提出的方法在区间宽度和条件覆盖性方面是否优于现有的校准分位数回归和分布式符合性预测方法？
• RQ4 在何种条件下，该方法能实现区间长度的渐近最优性？
• RQ5 当黑箱密度估计器存在模型误设或估计误差时，该方法的鲁棒性如何？

主要发现

• CHR在所有数据集上均实现了精确的90%边际覆盖，与理论保证一致，偏差极小（如表S1中为0.90(0.01)）。
• 在真实世界数据集meps19和meps20中，CHR生成的预测区间更窄（分别为19.1和20.5），优于CQR（28.1和30.1）和DCP（520.3和531.3），表现出更优的区间紧凑性。
• 在多个数据集（如fb1和fb2）中，CHR的条件覆盖性高于CQR和DCP-CQR，尽管在两个Facebook数据集中略有覆盖不足。
• 在模拟数据和真实数据中，CHR在区间宽度方面优于最先进的替代方法，同时保持或提升了条件覆盖性。
• 该方法在不同基础模型（包括深度神经网络和随机森林）上表现出稳健性，且在区间长度方面持续实现性能提升。
• CHR在不同数据分布下表现稳定，包括偏斜和重尾的条件密度，证实其对复杂数据形状具有良好的适应性。