[论文解读] Accurate Uncertainties for Deep Learning Using Calibrated Regression

Volodymyr Kuleshov, Nathan Fenner+1 more|arXiv (Cornell University)|Jul 1, 2018

Anomaly Detection Techniques and Applications参考文献 18被引用 271

一句话总结

本文提出一种回溯式后验重新校准方法用于回归，它为任意回归模型（包括贝叶斯神经网络）产出校准的不确定性估计，并在时间序列预测和基于模型的强化学习中展示了更好的校准效果。

ABSTRACT

Methods for reasoning under uncertainty are a key building block of accurate and reliable machine learning systems. Bayesian methods provide a general framework to quantify uncertainty. However, because of model misspecification and the use of approximate inference, Bayesian uncertainty estimates are often inaccurate -- for example, a 90% credible interval may not contain the true outcome 90% of the time. Here, we propose a simple procedure for calibrating any regression algorithm; when applied to Bayesian and probabilistic models, it is guaranteed to produce calibrated uncertainty estimates given enough data. Our procedure is inspired by Platt scaling and extends previous work on classification. We evaluate this approach on Bayesian linear regression, feedforward, and recurrent neural networks, and find that it consistently outputs well-calibrated credible intervals while improving performance on time series forecasting and model-based reinforcement learning tasks.

研究动机与目标

• 动机：在 AI 系统的回归任务中需要可靠的不确定性量化。
• 提出一种通用的、事后重新校准程序，将未经校准的预测转换为已校准的预测。
• 在贝叶斯线性回归、前馈与递归贝叶斯网络上演示该方法，并将其应用于预测与强化学习任务。
• 提供用于评估预测的校准性和锐利度的诊断方法与指导。

提出的方法

• 通过训练一个辅助重新校准模型 R:[0,1]→[0,1]，将 Platt 风格的重新校准从分类拓展到回归。
• 使用基础预测器 H 和经验概率 ˆP(p)=|{t:Ft(yt)≤p}|/T 构建重新校准数据集。
• 训练 R（如单调回归）将 H 的输出映射到已校准的概率。
• 将重新校准应用于贝叶斯与概率预测 Ft，以获得校准后的分布函数 F̃t = R∘Ft。
• 讨论基于特征的重新校准，其中非概率预测器可以通过适当的单调 increasing 函数 F 进行重新校准。
• 引入用于校准的诊断方法（校准图）和锐度（Ft 的方差）。
• 提供将重新校准应用于贝叶斯模型的实际指南，包括利用异方差信号与简单特征。

实验结果

研究问题

• RQ1 是否可以将简单的事后重新校准应用于任意回归模型，以产生校准的不确定性估计？
• RQ2 重新校准如何影响在贝叶斯与非贝叶斯回归模型中的校准质量与预测锐度？
• RQ3 校准后的预测是否在时间序列预测和基于模型的强化学习任务中提升性能？
• RQ4 哪些诊断工具最能揭示校准质量与预测锐度？

主要发现

• 在充足的独立同分布数据条件下，提出的重新校准方法一致地为各种回归模型产生良好校准的可信区间。
• 重新校准的预测在不牺牲点预测准确性的前提下显示出更好的校准性，有时甚至优于更复杂的校准基线。
• 校准提高了实际任务的表现，如时间序列预测和基于模型的强化学习，通过更好地与经验频率对齐和规划性能提升来体现。
• 单调回归是一个鲁棒的非参数重新校准器，能保持校准函数的单调性。
• 校准的回归提供基于经验频率的可解释不确定性估计，连接了频率派校准与贝叶斯预测。