[论文解读] Evaluation of Various Open-Set Medical Imaging Tasks with Deep Neural Networks

Zongyuan Ge, Xin Wang|arXiv (Cornell University)|Oct 21, 2021

Artificial Intelligence in Healthcare and Education参考文献 38被引用 4

一句话总结

该论文在自域、相似域和不同域场景下，评估了最先进的开放集识别方法——ODIN、MC Dropout、OpenMax 和 OLTR 在医学影像任务中的表现。基于 ImageNet 预训练模型在皮肤科、眼科和放射科数据集上的实验表明，专注于开放集的模型（尤其是 OLTR）在检测未知样本方面显著优于基于不确定性的方法，且 OLTR 在准确性、校准性和推理速度之间实现了最佳平衡，最适合临床部署。

ABSTRACT

The current generation of deep neural networks has achieved close-to-human results on "closed-set" image recognition; that is, the classes being evaluated overlap with the training classes. Many recent methods attempt to address the importance of the unknown, which are termed "open-set" recognition algorithms, try to reject unknown classes as well as maintain high recognition accuracy on known classes. However, it is still unclear how different general domain-trained open-set methods from ImageNet would perform on a different but more specific domain, such as the medical domain. Without principled and formal evaluations to measure the effectiveness of those general open-set methods, artificial intelligence (AI)-based medical diagnostics would experience ineffective adoption and increased risks of bad decision making. In this paper, we conduct rigorous evaluations amongst state-of-the-art open-set methods, exploring different open-set scenarios from "similar-domain" to "different-domain" scenarios and comparing them on various general and medical domain datasets. We summarise the results and core ideas and explain how the models react to various degrees of openness and different distributions of open classes. We show the main difference between general domain-trained and medical domain-trained open-set models with our quantitative and qualitative analysis of the results. We also identify aspects of model robustness in real clinical workflow usage according to confidence calibration and the inference efficiency.

研究动机与目标

• 评估在 ImageNet 上预训练的一般领域开放集识别方法在存在域偏移的医学影像任务中的有效性。
• 比较基于不确定性的方法（ODIN、MC Dropout）与专注于开放集的模型（OpenMax、OLTR）在检测分布外医学状况方面的表现。
• 通过置信度校准和推理效率评估模型在真实临床工作流中的鲁棒性。
• 提供公开可用的代码、logits 和模型，以建立未来医学开放集研究的基准。

提出的方法

• 在三个医学数据集上微调 ImageNet 预训练模型（ResNet-50）：皮肤科（ISIC）、眼科（APTOS）和放射科（NIH ChestX-ray）。
• 应用温度缩放以校准模型概率，提升医学决策中的置信度校准性能。
• 评估四种开放集方法：ODIN（输入扰动 + 温度缩放）、MC Dropout（贝叶斯不确定性估计）、OpenMax（开放集风险建模）和 OLTR（带表示学习的开放集损失）。
• 设计三种开放集场景：自域（与训练域相同）、相似域（如皮肤科到眼科）和不同域（如 ImageNet 到医学影像）。
• 通过已知类别准确率、未知样本检测的 AUC 以及在 GTX 1080Ti GPU 上的推理速度来衡量性能。
• 使用置信度校准指标（如 ECE）并报告推理时间，以评估临床可行性。

实验结果

研究问题

• RQ1 当将一般领域开放集方法迁移至存在域偏移的医学影像领域时，其表现如何？
• RQ2 在不同域相似度下，基于不确定性的方法与专注于开放集的方法中，哪一种更优地检测未知医学状况？
• RQ3 置信度校准在多大程度上影响临床决策支持系统中开放集预测的可靠性？
• RQ4 不同开放集方法的推理效率如何？哪一种最适合实时临床部署？
• RQ5 源数据集与目标数据集之间的域相似性在多大程度上影响开放集识别性能？

主要发现

• OLTR 在所有三种开放集场景中均优于其他方法，尤其在相似域和不同域任务中表现突出。
• 专注于开放集的模型（OpenMax、OLTR）在未知样本检测方面显著优于基于不确定性的方法（ODIN、MC Dropout），尤其是在域偏移条件下。
• MC Dropout 因其蒙特卡洛采样机制，推理速度最慢——比 ODIN 慢 20 倍，限制了其在实时场景中的应用。
• ODIN 在 GTX 1080Ti 上实现了最快的推理速度（112.3 ms），但在医学数据上的未知样本检测性能较差。
• OLTR 在检测性能、校准性和推理速度之间实现了最佳平衡，最适于临床部署。
• 通过温度缩放进行置信度校准显著提升了模型可靠性，尤其对 OLTR 和 OpenMax 效果明显，有效降低了医学预测中的校准偏差。