[论文解读] Exploring Uncertainty in Deep Learning for Construction of Prediction Intervals

Yuandu Lai, Yucheng Shi+4 more|arXiv (Cornell University)|Apr 27, 2021

Machine Learning and Data Classification参考文献 56被引用 7

一句话总结

该论文提出了一种深度学习方法，通过使用新颖的可微分损失函数联合估计随机性不确定性和认知性不确定性，仅需回归监督即可构建预测区间。该方法通过损失函数隐式学习数据不确定性，并通过集成方法建模认知性不确定性，在UCI回归数据集上实现了最先进的性能，预测区间更窄且校准性更好。

ABSTRACT

Deep learning has achieved impressive performance on many tasks in recent years. However, it has been found that it is still not enough for deep neural networks to provide only point estimates. For high-risk tasks, we need to assess the reliability of the model predictions. This requires us to quantify the uncertainty of model prediction and construct prediction intervals. In this paper, We explore the uncertainty in deep learning to construct the prediction intervals. In general, We comprehensively consider two categories of uncertainties: aleatory uncertainty and epistemic uncertainty. We design a special loss function, which enables us to learn uncertainty without uncertainty label. We only need to supervise the learning of regression task. We learn the aleatory uncertainty implicitly from the loss function. And that epistemic uncertainty is accounted for in ensembled form. Our method correlates the construction of prediction intervals with the uncertainty estimation. Impressive results on some publicly available datasets show that the performance of our method is competitive with other state-of-the-art methods.

研究动机与目标

• 解决在自动驾驶系统和医疗诊断等高风险深度学习应用中对不确定性量化的关键需求。
• 构建可靠的预测区间，同时反映随机性不确定性和认知性不确定性，且无需显式不确定性标注。
• 开发一种与标准深度学习框架兼容的训练方法，仅需修改输出层和损失函数。
• 通过提供具有可控覆盖率和宽度的区间估计，实现模型校准和不确定性感知决策。
• 使用预测区间质量的标准指标，在真实世界回归数据集上评估该方法的性能。

提出的方法

• 修改后的深度神经网络输出预测区间（下界和上界），而非点估计，最终层生成两个输出以表示区间边界。
• 从概率论推导出一种新颖的可微分损失函数，通过回归损失隐式学习随机性不确定性，无需不确定性标注。
• 通过模型集成来建模认知性不确定性，其中多个网络被训练并聚合其预测结果，以反映低数据区域中的不确定性。
• 损失函数引入超参数 λ 以平衡预测区间覆盖率（PICP）与宽度（MPIW），实现可靠性与精度之间的权衡控制。
• 该方法与标准深度学习优化兼容，仅需回归监督即可通过反向传播实现端到端训练。
• 在九个UCI回归数据集上使用PICP和MPIW作为评估指标对方法进行了评估。

实验结果

研究问题

• RQ1 如何在不依赖显式不确定性标注的情况下，训练深度学习模型以生成校准良好的预测区间？
• RQ2 在标准回归设置中，通过修改损失函数，随机性不确定性能在多大程度上被隐式学习？
• RQ3 模型集成在训练数据稀疏区域中，能多有效地捕捉认知性不确定性？
• RQ4 预测区间覆盖率与宽度之间的权衡如何？是否可通过超参数实现控制？
• RQ5 与最先进方法相比，该方法在不同回归任务中预测区间的质量与鲁棒性表现如何？

主要发现

• 该方法在大多数UCI回归数据集上实现了最佳平均性能，PICP值接近预设的95%置信水平。
• 与分位数回归（QR）相比，预测区间宽度减少了30.1%；与QR-GBDT相比，减少了24.1%，同时保持了高覆盖率。
• 与IntPred方法相比，该方法在覆盖率相近的情况下，区间宽度减少了20.1%。
• 超参数 λ 有效控制了覆盖率（PICP）与宽度（MPIW）之间的权衡，使用户可根据需求调节可靠性或精度。
• 对测试样本的预测区间可视化结果表明，模型成功捕捉了不确定性模式，高不确定性区域（尤其是数据稀疏区域）的区间更宽。
• 该方法对认知性不确定性表现出强敏感性，特征空间中数据密度较低的区域，预测区间宽度显著增加。