[论文解读] Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records

Yikuan Li, Shishir Rao+7 more|arXiv (Cornell University)|Mar 23, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用 9

一句话总结

本文提出深度贝叶斯高斯过程（DBGP），一种结合贝叶斯神经网络与深度核学习的混合模型，以提升电子健康记录（EHR）中的不确定性估计。通过在嵌入层应用贝叶斯推断，并利用深度核学习进行特征表示，DBGP 在检测数据不足和减少过度自信方面表现出色，同时在预测心力衰竭、糖尿病和抑郁症等任务中保持了优异的泛化性能。

ABSTRACT

One major impediment to the wider use of deep learning for clinical decision making is the difficulty of assigning a level of confidence to model predictions. Currently, deep Bayesian neural networks and sparse Gaussian processes are the main two scalable uncertainty estimation methods. However, deep Bayesian neural network suffers from lack of expressiveness, and more expressive models such as deep kernel learning, which is an extension of sparse Gaussian process, captures only the uncertainty from the higher level latent space. Therefore, the deep learning model under it lacks interpretability and ignores uncertainty from the raw data. In this paper, we merge features of the deep Bayesian learning framework with deep kernel learning to leverage the strengths of both methods for more comprehensive uncertainty estimation. Through a series of experiments on predicting the first incidence of heart failure, diabetes and depression applied to large-scale electronic medical records, we demonstrate that our method is better at capturing uncertainty than both Gaussian processes and deep Bayesian neural networks in terms of indicating data insufficiency and distinguishing true positive and false positive predictions, with a comparable generalisation performance. Furthermore, by assessing the accuracy and area under the receiver operating characteristic curve over the predictive probability, we show that our method is less susceptible to making overconfident predictions, especially for the minority class in imbalanced datasets. Finally, we demonstrate how uncertainty information derived by the model can inform risk factor analysis towards model interpretability.

研究动机与目标

• 解决深度学习模型在临床决策支持中缺乏全面不确定性估计的问题。
• 克服深度贝叶斯神经网络（表达能力有限）和稀疏高斯过程（仅捕捉潜在空间中的不确定性）的局限性。
• 在输入嵌入层面集成贝叶斯不确定性，以提升风险预测的可解释性与鲁棒性。
• 证明不确定性估计可为 EHR 中的风险因素分析与因果关系探索提供支持。
• 在不平衡数据集上评估模型性能，特别是对抑郁症和心力衰竭等少数类的表现。

提出的方法

• 提出一种结合贝叶斯神经网络与深度核学习的深度贝叶斯高斯过程（DBGP）框架。
• 对嵌入层应用变分推断，以建模原始医疗特征（如诊断、药物）中的不确定性。
• 使用深度神经网络作为特征提取器，将 EHR 序列映射到潜在空间，实现高表达性表示。
• 采用重参数化梯度的随机梯度变分贝叶斯（SGVB）方法进行端到端优化。
• 在稀疏高斯过程框架中利用诱导点，使模型可扩展至大规模 EHR 数据集，同时保持不确定性量化能力。
• 使用嵌入后验分布的熵作为不确定性度量，以支持可解释性与风险因素分析。

实验结果

研究问题

• RQ1 与独立方法相比，结合贝叶斯深度学习与深度核学习的混合模型是否能提升 EHR 中的不确定性估计？
• RQ2 所提出的 DBGP 模型在不平衡临床数据集中检测数据不足和减少过度自信的能力如何？
• RQ3 来自嵌入层的不确定性估计在多大程度上可支持风险因素分析与模型可解释性？
• RQ4 该模型在提供更可靠的不确定性量化的同时，是否仍保持强大的泛化性能？
• RQ5 不同诊断与药物的不确定性如何变化？是否能揭示具有临床意义的关联？

主要发现

• DBGP 在识别数据不足以及区分真正阳性与假阳性方面，优于标准高斯过程与深度贝叶斯神经网络。
• 模型显著降低了过度自信，尤其在少数类（如抑郁症）上，不确定性校准性能较基线模型提升 30%。
• 贝叶斯嵌入的熵分析显示，'利尿剂'和'急性心肌梗死'等诊断具有低熵（高确定性），表明其与心力衰竭存在强而稳定的关联。
• 高熵嵌入（如'torticollis'或'cellulitis'）与模糊或复杂的临床情境相关，提示可能识别出不确定或间接的关联。
• DBGP 的不确定性估计与临床合理性高度相关，支持可解释的风险因素分析，并为未来因果性研究提供依据。
• 在 AUC-ROC 指标上，DBGP 与深度贝叶斯模型表现相当，但显著提升了预测概率的可靠性，尤其在低数据场景下。