[论文解读] Accurate Prediction and Uncertainty Estimation using Decoupled Prediction Interval Networks

Kinjal Patel, Steven L. Waslander|arXiv (Cornell University)|Feb 19, 2022

Machine Learning and Data Classification被引用 6

一句话总结

本文提出解耦预测区间网络（DPIN），一种两阶段深度学习框架，通过使用自定义的无分布损失函数来分别优化预测准确性和不确定性估计。通过将均值预测（使用MSE损失）与预测区间（PI）估计（使用覆盖率感知损失）解耦，DPIN在9个UCI数据集中的7个上实现了23–34%更低的RMSE，同时保持95%的预测区间覆盖率概率（PICP），并且与最先进方法相比，主动学习误差降低了17–36%。

ABSTRACT

We propose a network architecture capable of reliably estimating uncertainty of regression based predictions without sacrificing accuracy. The current state-of-the-art uncertainty algorithms either fall short of achieving prediction accuracy comparable to the mean square error optimization or underestimate the variance of network predictions. We propose a decoupled network architecture that is capable of accomplishing both at the same time. We achieve this by breaking down the learning of prediction and prediction interval (PI) estimations into a two-stage training process. We use a custom loss function for learning a PI range around optimized mean estimation with a desired coverage of a proportion of the target labels within the PI range. We compare the proposed method with current state-of-the-art uncertainty quantification algorithms on synthetic datasets and UCI benchmarks, reducing the error in the predictions by 23 to 34% while maintaining 95% Prediction Interval Coverage Probability (PICP) for 7 out of 9 UCI benchmark datasets. We also examine the quality of our predictive uncertainty by evaluating on Active Learning and demonstrating 17 to 36% error reduction on UCI benchmarks.

研究动机与目标

• 解决深度回归模型中预测准确性与可靠不确定性估计之间的权衡问题。
• 克服现有不确定性量化方法的局限性，这些方法要么牺牲准确性，要么低估方差。
• 开发一种无分布方法来学习预测区间，确保所需的覆盖率概率（例如95%），而无需假设高斯噪声。
• 在标准UCI回归基准和主动学习设置下评估该方法的性能。
• 证明解耦训练能够实现预测准确性与不确定性校准的同步优化。

提出的方法

• 该方法采用两阶段训练过程：首先，使用均方误差（MSE）损失训练主网络以优化预测准确性。
• 其次，使用自定义损失函数训练一个独立的解耦网络，以估计预测均值周围的预测区间（PI）。
• 自定义损失函数在最小化PI宽度的同时，强制实现目标覆盖率概率（例如95%），即确保真实标签落在预测区间内的比例达到目标值。
• PI估计损失被设计为无分布形式，避免对数据噪声的假设，并明确将真实预测作为参考点。
• 该框架保留第一阶段优化后的均值预测结果，仅在第二阶段微调PI头，从而确保准确性不下降。
• 该方法在合成数据和9个UCI回归数据集上进行了评估，包括基于不确定性迭代获取数据的主动学习实验。

实验结果

研究问题

• RQ1 解耦训练方法是否能同时在深度回归中实现最先进的预测准确性和可靠的不确定性估计？
• RQ2 针对预测区间的无分布损失函数是否在保持95%覆盖率概率的同时，优于现有方法并最小化PI宽度？
• RQ3 在标准基准上，该方法与最先进不确定性量化技术相比，在RMSE和对数似然（log-likelihood）方面表现如何？
• RQ4 不确定性估计的质量在多大程度上提升了主动学习场景下的性能？
• RQ5 解耦架构是否能减少端到端模型中观察到的准确性与不确定性校准之间的权衡？

主要发现

• 在9个UCI回归数据集中的7个上，DPIN相比最先进方法将RMSE降低了23–34%，同时保持95%的预测区间覆盖率概率（PICP）。
• 在Energy数据集上，该方法的对数似然（LL）相比当前SOTA提高了41–67%，表明其概率校准更优。
• 在主动学习中，DPIN在多个数据集上相比MC-Dropout、DeepEns和Split-Train，测试RMSE误差降低了17–36%。
• 在Energy数据集上，DPIN相比其他方法将PI宽度降低了53–80%，同时保持95%的PICP。
• 两阶段解耦训练过程在不损害不确定性校准的前提下实现了显著的准确性提升，优于联合优化预测与不确定性的模型。
• 所提出的无分布PI损失函数成功捕捉了随机动态不确定性，无需假设高斯噪声，从而在具有非对称噪声的数据集上提升了鲁棒性。