[论文解读] Distribution Calibration for Regression
本文提出针对回归任务的分布校准方法，采用一种新颖的Beta链接函数，结合多输出高斯过程，实现后处理校准。GP-Beta方法在多种回归模型中均显著提升了分布级与分位数级校准性能，优于现有方法（如等渗回归），在真实世界与合成数据集上表现更优。
We are concerned with obtaining well-calibrated output distributions from regression models. Such distributions allow us to quantify the uncertainty that the model has regarding the predicted target value. We introduce the novel concept of distribution calibration, and demonstrate its advantages over the existing definition of quantile calibration. We further propose a post-hoc approach to improving the predictions from previously trained regression models, using multi-output Gaussian Processes with a novel Beta link function. The proposed method is experimentally verified on a set of common regression models and shows improvements for both distribution-level and quantile-level calibration.
研究动机与目标
- 解决复杂或预训练模型（如深度神经网络）在回归任务中缺乏良好校准的不确定性估计问题。
- 定义并形式化分布级校准，作为强于传统分位数校准的、更具信息量的校准形式。
- 开发一种可扩展的后处理校准方法，在不重新训练基础回归模型的前提下提升不确定性估计性能。
- 证明分布校准自然蕴含分位数校准，提供更一致的不确定性表征方式。
- 构建一种灵活的、基于高斯过程与新型链接函数的概率框架，用于校准条件密度估计。
提出的方法
- 提出一种多输出高斯过程模型，为每个输入实例学习校准参数（均值与方差），实现实例特定的校准。
- 引入一种新颖的Beta链接函数，将模型输出映射至校准后的预测分布，确保满足概率约束。
- 采用带诱导点的随机变分推断，使方法可扩展至大规模数据集，同时保持计算效率。
- 通过学习随输入变化的校准映射，匹配经验分位数，实现预测累积分布函数（CDF）的校准，区别于等渗回归的全局映射。
- 对每个实例采用4096个点的梯形近似，估算期望值并计算NLL以供评估。
- 使用ADAM优化，每批次采样64次蒙特卡洛样本，基于75/25的数据划分进行训练。
实验结果
研究问题
- RQ1能否在回归任务中定义并形式化分布级校准？其是否优于分位数校准，从而实现更优的不确定性量化？
- RQ2后处理方法能否在不重新训练的前提下提升预训练回归模型的校准性能？
- RQ3所提出的GP-Beta方法是否在分布级与分位数级校准上均优于现有后处理校准技术（如等渗回归）？
- RQ4该方法在大规模数据集上的可扩展性如何？诱导点数量对性能有何影响？
- RQ5该方法在不同回归模型与具有多样化数据分布的真实世界数据集上是否具备鲁棒性？
主要发现
- GP-Beta方法在所有评估指标上均一致提升校准性能，尤其在NLL指标上表现突出，因其是最能反映分布校准真实性的度量。
- 在大多数数据集中，GP-Beta在分布级与分位数级校准上均优于等渗回归，尤其在需要局部校准的合成数据中提升最为显著。
- 即使仅使用8个诱导点，方法仍表现良好；当增加至64个诱导点时，在Airfoil数据集（n=1503）等大规模数据集上性能进一步提升，表明通过增加诱导点可增强可扩展性。
- 在Energy数据集（n=19,735）上，等渗回归因目标分布在零附近出现阶跃变化，导致NLL异常偏低，凸显了全局校准方法的风险。
- 无论诱导点数量如何，GP-Beta在几乎所有情况下均取得最优NLL，证明其在分布校准中的鲁棒性与优越性。
- 如图2所示，该方法成功学习到实例特定的校准映射，而等渗回归则对所有输入应用单一全局映射。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。