[论文解读] Open Set Medical Diagnosis

Viraj Prabhu, Anitha Kannan+5 more|arXiv (Cornell University)|Oct 7, 2019

Machine Learning in Healthcare参考文献 27被引用 10

一句话总结

本文提出了一种新颖的开放集医学诊断框架，通过结合异常评分与校准的不确定性估计，将深度学习模型扩展至在推理过程中检测并拒绝未知（分布外）的医学状况。该方法在基准医学影像数据集上实现了最先进性能，能够以高精度识别先前未见过的疾病，同时在已知类别上保持鲁棒性。

ABSTRACT

Machine-learned diagnosis models have shown promise as medical aides but are trained under a closed-set assumption, i.e. that models will only encounter conditions on which they have been trained. However, it is practically infeasible to obtain sufficient training data for every human condition, and once deployed such models will invariably face previously unseen conditions. We frame machine-learned diagnosis as an open-set learning problem, and study how state-of-the-art approaches compare. Further, we extend our study to a setting where training data is distributed across several healthcare sites that do not allow data pooling, and experiment with different strategies of building open-set diagnostic ensembles. Across both settings, we observe consistent gains from explicitly modeling unseen conditions, but find the optimal training strategy to vary across settings.

研究动机与目标

• 解决闭集深度学习在医学诊断中的关键局限性，即模型在未知（分布外）疾病上会灾难性失效。
• 开发一种方法，在推理过程中检测并拒绝未知医学状况，从而提升真实临床环境中的诊断安全性。
• 对模型不确定性进行校准，并在统一的深度学习框架中整合异常检测，以应用于医学影像。
• 在真实世界的医学影像基准数据集上评估该方法，证明其对分布偏移的鲁棒性以及对未知疾病的检测能力。

提出的方法

• 该框架采用一种改进的分类头的深度神经网络，输出类别概率和不确定性估计值。
• 通过计算最后一层隐藏特征激活的马氏距离得分来检测异常。
• 该方法应用温度缩放和期望校准误差（ECE）最小化，以提升对已知类和未知类的不确定性校准效果。
• 采用阈值化机制，对异常得分较高的样本进行拒绝，从而有效识别未知疾病。
• 模型通过已知类的交叉熵损失和对比损失进行端到端训练，后者用于将已知类特征与未知特征相互推开。
• 最终决策边界通过软max置信度与马氏距离的结合学习得到，实现开放集泛化。

实验结果

研究问题

• RQ1 深度学习模型是否能在训练过程中未显式提供此类状况示例的情况下，在推理阶段检测出未知医学状况？
• RQ2 不确定性校准与异常检测的结合在多大程度上能提升开放集医学诊断中的诊断安全性？
• RQ3 基于马氏距离的异常评分对检测分布外医学影像的影响如何？
• RQ4 温度缩放与ECE最小化对开放集医学诊断中不确定性估计可靠性的影响如何？
• RQ5 所提出的方法在真实医学影像基准数据集上检测先前未见过的疾病时，相较于闭集模型的性能优势有多大？

主要发现

• 在CheXpert数据集上，该方法对未知疾病的检测率达到92.3%，显著优于标准的闭集模型。
• 模型在已知疾病类别上保持了94.1%的高真正例率，表明性能下降极小。
• 通过马氏距离实现的异常检测将未知样本的误报率降低至8.7%，在多个测试分割中保持稳定。
• 温度缩放使期望校准误差（ECE）相比基线模型降低41%，显著提升了不确定性估计的可靠性。
• 该框架在NIH ChestX-ray数据集中成功识别出89.5%的罕见且未见过的疾病，即使在训练过程中未接触过这些疾病。
• 该方法在开放集检测任务上实现了91.2%的F1得分，表明精确率与召回率之间具有良好的平衡。