[论文解读] Bayesian LSTMs in medicine

Jos van der Westhuizen, Joan Lasenby|arXiv (Cornell University)|Jun 5, 2017

Time Series Analysis and Forecasting参考文献 41被引用 15

一句话总结

本文提出使用蒙特卡洛丢弃（Monte Carlo dropout）的贝叶斯长短期记忆网络（LSTM），以提升医疗时间序列分类的准确性并提供不确定性估计。通过在测试时应用MC丢弃，模型可同时输出预测类别与置信度分数，在包括心电图（ECG）、心音图（phonocardiogram）和新生儿ICU数据在内的四个医疗数据集上，表现出更高的分类准确率和可靠的不确定性量化能力。

ABSTRACT

The medical field stands to see significant benefits from the recent advances in deep learning. Knowing the uncertainty in the decision made by any machine learning algorithm is of utmost importance for medical practitioners. This study demonstrates the utility of using Bayesian LSTMs for classification of medical time series. Four medical time series datasets are used to show the accuracy improvement Bayesian LSTMs provide over standard LSTMs. Moreover, we show cherry-picked examples of confident and uncertain classifications of the medical time series. With simple modifications of the common practice for deep learning, significant improvements can be made for the medical practitioner and patient.

研究动机与目标

• 解决用于医疗时间序列分类的深度学习模型中缺乏不确定性量化的问题。
• 在临床决策中模型置信度至关重要的医疗应用中，提升分类准确性。
• 证明贝叶斯深度学习技术可仅通过最小修改即可集成到标准深度学习流程中。
• 表明贝叶斯LSTM的不确定性估计可帮助临床医生识别需要进一步审查的模糊或噪声信号。
• 在具有不同分辨率和临床相关性的多样化医疗时间序列数据集上验证该方法的有效性。

提出的方法

• 通过在推理过程中多次前向传播并保持丢弃激活，将标准LSTM适配为使用蒙特卡洛（MC）丢弃进行近似贝叶斯推理。
• 利用MC丢弃通过计算多个带有丢弃单元的前向传播结果之间的方差，来估计预测不确定性。
• 在训练和推理阶段使用相同的丢弃率，避免标准丢弃中使用的权重缩放。
• 以相同的架构和超参数训练标准LSTM与贝叶斯LSTM，二者仅在测试时是否应用丢弃上存在差异。
• 利用MC样本预测结果的方差计算出的贝叶斯置信度分数，来区分高置信与低置信预测。
• 在四个医疗时间序列数据集上评估性能：MNIST（作为基线）、PhysioNet 2016（PCG）、MIT-BIH（ECG）和NICU/TBI（纵向ICU数据）。

实验结果

研究问题

• RQ1 与标准LSTM相比，使用MC丢弃的贝叶斯LSTM是否能在医疗时间序列上提升分类准确率？
• RQ2 贝叶斯LSTM的不确定性估计是否能可靠地识别出需要临床审查的噪声或异常信号？
• RQ3 该贝叶斯方法在低分辨率纵向医疗数据（如TBI和NICU信号）上是否能保持或提升性能？
• RQ4 保持概率（1 - 丢弃率）的选择如何影响LSTM的准确率和不确定性估计？
• RQ5 MC丢弃是否可在实际临床环境中有效应用，以同时提供预测结果和置信度度量？

主要发现

• 贝叶斯LSTM在所有四个医疗数据集上均提升了分类准确率，其中在TBI数据集上相对增益最高（95.21% vs. 94.49%的标准LSTM）。
• 在PhysioNet 2016挑战数据集上，贝叶斯LSTM达到79.8%的准确率，高于标准LSTM的77.8%，且灵敏度（0.707 vs. 0.675）和特异性（0.889 vs. 0.880）均有所提升。
• 模型表现出可靠的不确定性估计：在视觉对比中，对噪声或异常信号始终表现出不确定性。
• 较高的保持概率（高于0.8）被发现对LSTM训练最为理想，而保持概率约为0.5时会导致收敛性差和过拟合。
• 即使在低分辨率纵向数据（如NICU和TBI）上，贝叶斯方法也能提供有意义的不确定性估计，而标准模型则缺乏此类置信度度量。
• MC丢弃在计算上可行且可并行化，尽管相比标准推理成本有所增加，但仍可实现实时临床环境中的在线推理。