[论文解读] Bayesian Modelling in Practice: Using Uncertainty to Improve Trustworthiness in Medical Applications

David Ruhe, Giovanni Cinà+3 more|arXiv (Cornell University)|Jun 20, 2019

Machine Learning in Healthcare参考文献 17被引用 4

一句话总结

本文提出在重症监护病房（ICUs）中使用贝叶斯神经网络（BNNs），通过量化预测不确定性来提升医疗机器学习的可信度。通过推导预测损失的解析边界，并将BNN应用于MIMIC-III数据集，作者表明不确定性能够可靠地识别出分布外患者（如新生儿和少数族裔群体），分别使不确定性提高230%和130%，从而降低错误决策的风险。

ABSTRACT

The Intensive Care Unit (ICU) is a hospital department where machine learning has the potential to provide valuable assistance in clinical decision making. Classical machine learning models usually only provide point-estimates and no uncertainty of predictions. In practice, uncertain predictions should be presented to doctors with extra care in order to prevent potentially catastrophic treatment decisions. In this work we show how Bayesian modelling and the predictive uncertainty that it provides can be used to mitigate risk of misguided prediction and to detect out-of-domain examples in a medical setting. We derive analytically a bound on the prediction loss with respect to predictive uncertainty. The bound shows that uncertainty can mitigate loss. Furthermore, we apply a Bayesian Neural Network to the MIMIC-III dataset, predicting risk of mortality of ICU patients. Our empirical results show that uncertainty can indeed prevent potential errors and reliably identifies out-of-domain patients. These results suggest that Bayesian predictive uncertainty can greatly improve trustworthiness of machine learning models in high-risk settings such as the ICU.

研究动机与目标

• 通过引入预测不确定性，提升高风险ICU环境中机器学习的可信度。
• 解决确定性模型中分布外预测导致灾难性错误的风险。
• 证明贝叶斯不确定性能够检测出具有罕见或未见症状与生命体征组合的患者。
• 提供理论边界，将不确定性与预测损失关联，表明不确定性可降低风险。
• 使用贝叶斯-反向传播在真实世界ICU数据上评估BNN，与确定性模型进行性能比较。

提出的方法

• 作者使用带有变分推断的贝叶斯神经网络（BNNs）来近似模型权重的真实后验分布，从而实现不确定性量化。
• 推导了交叉熵损失在预测不确定性方面的解析边界，表明更高的不确定性与更低的高损失预测风险相关。
• 采用贝叶斯-反向传播直接估计权重的后验分布，避免了MC Dropout中对丢弃率超参数调优的需求。
• 模型在MIMIC-III数据集上进行训练，使用临床和实验室数据预测ICU患者死亡率。
• 通过在训练中未包含的新生儿和少数族裔群体上进行测试，评估分布外检测效果，测量不确定性的增加。
• 将性能与确定性随机森林模型进行比较，分析不同预测置信度水平下的累积损失和不确定性趋势。

实验结果

研究问题

• RQ1 能否利用贝叶斯神经网络推导出的预测不确定性来约束并降低ICU死亡率预测中的损失？
• RQ2 BNN在多大程度上能通过不确定性增加来检测分布外患者（如新生儿或代表性不足的少数族裔群体）？
• RQ3 在临床深度学习场景中，贝叶斯-反向传播是否比MC Dropout提供更可靠的不确定性估计？
• RQ4 在真实ICU数据中，预测不确定性与高损失错误风险之间是否存在可测量的关系？
• RQ5 BNN能否作为临床决策支持中的安全机制，通过标记罕见或新颖的患者特征来发挥作用？

主要发现

• 理论边界表明，预测不确定性可缓解预测损失，更高的不确定性与更低的高损失错误风险相关。
• 在MIMIC-III数据集上，测试集的预测损失随不确定性上升呈超线性增长，证实不确定性与风险降低相关。
• 当面对新生儿患者时，BNN的预测不确定性平均提高了230%，表明其成功检测到分布外情况。
• 对于代表性不足的少数族裔群体，BNN的不确定性提高了130%（p < .0001），表明其能有效检测罕见患者特征。
• 与确定性随机森林相比，BNN在不确定性校准方面表现更优，不确定性能可靠地指示不可靠预测。
• 结果表明，BNN不仅可用于分类任务，更可主要作为通过不确定性输出实现的安全机制部署，即使其准确率略低于非贝叶斯模型。