[论文解读] Multi-Label Retinal Disease Classification using Transformers

Manuel A. Rodriguez, H. AlMarzouqi+1 more|arXiv (Cornell University)|Jul 5, 2022

Retinal Imaging and Analysis被引用 8

一句话总结

该论文提出了一种基于Transformer的新模型C-Tran，用于使用新构建的包含2,208张眼底图像的MuReD数据集进行多标签视网膜疾病分类。该方法在疾病检测和分类的AUC上分别优于先前方法7.9%和8.1%，表现出卓越的准确率和通过类别激活图实现的可解释性。

ABSTRACT

Early detection of retinal diseases is one of the most important means of preventing partial or permanent blindness in patients. In this research, a novel multi-label classification system is proposed for the detection of multiple retinal diseases, using fundus images collected from a variety of sources. First, a new multi-label retinal disease dataset, the MuReD dataset, is constructed, using a number of publicly available datasets for fundus disease classification. Next, a sequence of post-processing steps is applied to ensure the quality of the image data and the range of diseases, present in the dataset. For the first time in fundus multi-label disease classification, a transformer-based model optimized through extensive experimentation is used for image analysis and decision making. Numerous experiments are performed to optimize the configuration of the proposed system. It is shown that the approach performs better than state-of-the-art works on the same task by 7.9% and 8.1% in terms of AUC score for disease detection and disease classification, respectively. The obtained results further support the potential applications of transformer-based architectures in the medical imaging field.

研究动机与目标

• 为解决现有自动化系统中对眼底图像中多种视网膜疾病同时检测这一挑战，该研究旨在填补当前研究的空白。
• 通过整合并清洗多个公开来源的数据，构建一个高质量的多标签眼底图像数据集（MuReD）。
• 开发并优化一种基于Transformer的深度学习模型（C-Tran），用于多标签视网膜疾病分类，以克服传统CNN和手工特征的局限性。
• 在个体疾病检测和多病种分类任务上评估模型性能，并通过类别激活图实现可解释性。
• 证明Transformer架构在多标签视网膜诊断任务中优于现有SOTA方法。

提出的方法

• 通过整合并清洗来自三个公开眼底数据集的图像，构建了MuReD数据集，确保每类疾病至少有50个样本，并应用自动化质量评估。
• 实施一系列后处理步骤，包括图像归一化、疾病标签标准化和过滤，以提升数据质量和一致性。
• 设计了一种定制的视觉Transformer架构（C-Tran），通过大规模超参数调优，专为多标签视网膜疾病分类而优化。
• 利用多头自注意力机制捕捉眼底图像中的长距离依赖关系，替代或增强传统卷积层。
• 采用Sigmoid激活函数与二元交叉熵损失函数实现多标签输出，支持每种疾病的独立预测。
• 通过Grad-CAM生成类别激活图（CAMs），可视化注意力区域，验证模型的可解释性和特征学习能力。

实验结果

研究问题

• RQ1 基于Transformer的架构是否能在使用眼底图像进行多标签视网膜疾病分类时，优于现有的基于CNN的模型？
• RQ2 所提出的C-Tran模型在疾病检测和分类的AUC方面，与SOTA方法相比表现如何？
• RQ3 通过类别激活图验证，该模型在多大程度上学习到了不同疾病的判别性特征？
• RQ4 在多标签眼底图像分类中，特别是针对如ODP、HTR和ASR等罕见或细微病变，主要挑战是什么？
• RQ5 所提出的MuReD数据集在支持视网膜疾病诊断中稳健且泛化的多标签学习方面效果如何？

主要发现

• 与SOTA方法相比，所提出的C-Tran模型在疾病检测任务中AUC得分提高了7.9%，在疾病分类任务中提高了8.1%。
• 该模型在20种疾病中的18种上AUC得分超过90%，其中ODE类的AUC最高，达到0.999，MYA类为0.997。
• 该模型在检测主要病变时表现出高置信度和高准确率：青光膜（ODC）为99%，ARMD为98%，近视（MYA）为100%。
• 模型在'OTHER'类别（AUC = 0.851）和'ODP'（AUC = 0.870）上表现最弱，前者因是总括类别，后者因视觉线索细微所致。
• 类别激活图证实，模型聚焦于临床相关区域——如ARMD的新生血管膜和青光眼的视盘凹陷，验证了其可解释性和特征学习能力。
• 对于HTR和ASR，模型AUC较高（分别为0.971和0.911），但因预测置信度低于0.5阈值而未能生成F1分数，表明需要更好的校准或数据增强。