[论文解读] A review of predictive uncertainty estimation with machine learning

Hristos Tyralis, Georgia Papacharalampous|arXiv (Cornell University)|Sep 17, 2022

Gaussian Processes and Bayesian Inference参考文献 458被引用 7

一句话总结

本文全面综述了用于预测不确定性估计的机器学习方法，涵盖从统计模型到现代深度学习方法的各类技术。文章整合了概率预测技术，评估了适当的评分规则以衡量性能，并指出了在机器学习应用中不确定性量化的关键挑战与研究方向。

ABSTRACT

Predictions and forecasts of machine learning models should take the form of probability distributions, aiming to increase the quantity of information communicated to end users. Although applications of probabilistic prediction and forecasting with machine learning models in academia and industry are becoming more frequent, related concepts and methods have not been formalized and structured under a holistic view of the entire field. Here, we review the topic of predictive uncertainty estimation with machine learning algorithms, as well as the related metrics (consistent scoring functions and proper scoring rules) for assessing probabilistic predictions. The review covers a time period spanning from the introduction of early statistical (linear regression and time series models, based on Bayesian statistics or quantile regression) to recent machine learning algorithms (including generalized additive models for location, scale and shape, random forests, boosting and deep learning algorithms) that are more flexible by nature. The review of the progress in the field, expedites our understanding on how to develop new algorithms tailored to users' needs, since the latest advancements are based on some fundamental concepts applied to more complex algorithms. We conclude by classifying the material and discussing challenges that are becoming a hot topic of research.

研究动机与目标

• 整合并梳理机器学习中预测不确定性估计研究的快速增长成果。
• 形式化地应用适当的评分规则和一致的评分函数，以评估概率预测。
• 弥合不确定性量化在机器学习模型中理论基础与实际应用之间的差距。
• 识别当前预测不确定性估计中的开放性挑战与未来研究方向，特别是在复杂真实世界机器学习系统中的应用。

提出的方法

• 系统性综述从经典统计模型（如线性回归、时间序列）到现代机器学习算法（如随机森林、梯度提升、深度学习）的预测不确定性方法。
• 引入广义加性模型用于位置、尺度和形态（GAMLSS）作为建模预测分布的灵活框架。
• 应用适当的评分规则——如对数评分、Brier 评分和连续 ranked probability 评分——以客观评估概率预测。
• 分析集成模型与深度学习模型中的不确定性估计技术，包括蒙特卡洛 dropout 和贝叶斯神经网络。
• 根据其基本假设、计算复杂度以及在不同应用领域中的适用性，对方法进行分类。
• 综合分析从参数化到非参数化以及基于深度学习的不确定性估计方法的发展趋势与演变。

实验结果

研究问题

• RQ1 不同机器学习模型在各种数据类型与结构下，如何估计并表示预测不确定性？
• RQ2 在机器学习中，评估概率预测质量时，最有效的适当评分规则是什么？
• RQ3 经典统计方法中的不确定性估计技术与现代深度学习及集成模型中的方法相比有何异同？
• RQ4 当前预测不确定性估计方法存在哪些关键局限性与开放性挑战？
• RQ5 如何根据真实应用场景中终端用户的具体需求，定制不确定性估计方法？

主要发现

• 包含不确定性估计的概率预测显著提升了决策质量，因其提供的信息远超单一预测值。
• 适当的评分规则，如连续 ranked probability 评分（CRPS）和对数评分，是有效且广泛适用的预测分布评估指标。
• 现代机器学习模型如深度神经网络和梯度提升树可通过蒙特卡洛 dropout 和集成平均等技术，被有效改造以生成可靠的不确定性估计。
• 尽管将不确定性估计整合到复杂模型中日益可行，但在校准性、计算成本和可解释性方面仍存在挑战。
• 亟需建立标准化的评估协议与基准测试框架，以在多样化应用场景中比较不同不确定性估计方法。
• 本综述识别出若干新兴趋势，如少样本及类少样本学习中的不确定性量化，以及不确定性在模型可解释性与鲁棒性中的作用。