[论文解读] Uncertainty-inspired Open Set Learning for Retinal Anomaly Identification

Meng Wang, Lin Tian+22 more|arXiv (Cornell University)|Apr 8, 2023

Retinal Imaging and Analysis被引用 4

一句话总结

该论文提出了一种基于不确定性的开放集（UIOS）学习模型，用于视网膜异常识别，通过将证据不确定性评分与分类概率相结合，提升了深度学习的鲁棒性。在9种视网膜疾病类别上进行训练后，UIOS在内部测试数据上达到99.55%的F1分数，在未见类别上达到91.91%，显著优于标准AI模型，同时通过高不确定性评分正确识别出分布外样本，从而在临床筛查中实现更低的误诊风险，提升可靠性。

ABSTRACT

Failure to recognize samples from the classes unseen during training is a major limitation of artificial intelligence in the real-world implementation for recognition and classification of retinal anomalies. We established an uncertainty-inspired open-set (UIOS) model, which was trained with fundus images of 9 retinal conditions. Besides assessing the probability of each category, UIOS also calculated an uncertainty score to express its confidence. Our UIOS model with thresholding strategy achieved an F1 score of 99.55%, 97.01% and 91.91% for the internal testing set, external target categories (TC)-JSIEC dataset and TC-unseen testing set, respectively, compared to the F1 score of 92.20%, 80.69% and 64.74% by the standard AI model. Furthermore, UIOS correctly predicted high uncertainty scores, which would prompt the need for a manual check in the datasets of non-target categories retinal diseases, low-quality fundus images, and non-fundus images. UIOS provides a robust method for real-world screening of retinal anomalies.

研究动机与目标

• 为解决标准AI模型在无法检测分布外（OOD）视网膜图像（如罕见疾病、低质量图像或非眼底图像）方面的关键局限性。
• 开发一种稳健的开放集学习框架，可在无需额外标注OOD数据的情况下识别不确定预测。
• 通过自动标记模糊或新发病例以供专家审查，增强临床对基于AI的视网膜筛查的信任。
• 通过确保在训练集分布之外的数据分布上保持可靠性能，提升AI在眼科领域的真实世界部署能力。

提出的方法

• UIOS模型采用证据不确定性深度神经网络，为每个预测输出类别概率和不确定性评分。
• 对不确定性评分应用阈值策略，将预测分类为高置信度（低于阈值）或低置信度（高于阈值），以提示需要人工审查。
• 通过基于Youden指数的目标函数在验证数据上优化，确定最优阈值（θ = 0.1158），以最大化真正例率与假正例率之差。
• 使用ResNet-50并结合快照集成方法，在单次训练过程中生成多个模型权重，提升泛化能力。
• 通过随机左右翻转和图像缩放至256×256进行数据增强，以提升鲁棒性与计算效率。
• 在多个数据集（包括JSIEC1000、RETOUCH和VOC2012）上评估该框架，以评估其在分布内与分布外样本上的性能。

Figure 1 : The overview of the uncertainty-inspired open set (UIOS) learning for retinal anomaly classification. Standard artificial intelligence (AI) and UIOS AI models were trained with the same dataset with 9 categories of retinal photos. In testing, standard AI model assigns a probability value

实验结果

研究问题

• RQ1 基于不确定性的深度学习模型能否可靠检测出训练过程中未见过的分布外视网膜图像（如罕见疾病或非眼底图像）？
• RQ2 与标准AI模型相比，集成不确定性评分在未见和分布外测试集上如何提升视网膜疾病分类的F1分数与可靠性？
• RQ3 不确定性评分在多大程度上可作为模型置信度的代理，实现对模糊或新发病例的自动标记以供专家审查？
• RQ4 在视网膜筛查的开放集检测中，何种不确定性评分阈值能最优平衡真正例率与假正例率？

主要发现

• UIOS模型在内部测试集上达到99.55%的F1分数，显著优于标准AI模型的92.20%。
• 在外部TC-JSIEC数据集上，UIOS达到97.01%的F1分数，而标准AI模型仅为80.69%。
• 在TC-unseen测试集上，UIOS达到91.91%的F1分数，而标准AI模型仅得64.74%，表明其在分布外泛化方面表现更优。
• 该模型对非目标类别视网膜疾病、低质量眼底图像及非眼底图像均正确分配了高不确定性评分，表明其能可靠检测模糊或新发病例。
• 通过基于Youden指数的优化方法，确定最优不确定性阈值为0.1158，实现了OOD检测中敏感性与特异性的最佳平衡。
• UIOS框架通过区分高置信度预测与需专家审查的预测，实现了可靠的临床部署，显著降低了真实筛查场景中的误诊风险。

Figure 2 : The receiver operating characteristic (ROC) curves of the standard AI model, our UIOS, and UIOS+Thresholding in internal and two external testing datasets.