[论文解读] Lesion-based Contrastive Learning for Diabetic Retinopathy Grading from Fundus Images

Yijin Huang, Li Lin+3 more|arXiv (Cornell University)|Jul 17, 2021

Retinal Imaging and Analysis参考文献 20被引用 4

一句话总结

该论文提出了一种基于病灶的对比学习（LCL）方法，用于糖尿病视网膜病变（DR）分级，通过使用病灶图像块而非完整眼底图像来提升特征的可区分性。通过聚焦于病理区域并优化数据增强策略，LCL在EyePACS数据集上实现了最先进性能，线性评估中相比SimCLR提升23.34%，且在标注数据有限的情况下展现出更优的迁移能力。

ABSTRACT

Manually annotating medical images is extremely expensive, especially for large-scale datasets. Self-supervised contrastive learning has been explored to learn feature representations from unlabeled images. However, unlike natural images, the application of contrastive learning to medical images is relatively limited. In this work, we propose a self-supervised framework, namely lesion-based contrastive learning for automated diabetic retinopathy (DR) grading. Instead of taking entire images as the input in the common contrastive learning scheme, lesion patches are employed to encourage the feature extractor to learn representations that are highly discriminative for DR grading. We also investigate different data augmentation operations in defining our contrastive prediction task. Extensive experiments are conducted on the publicly-accessible dataset EyePACS, demonstrating that our proposed framework performs outstandingly on DR grading in terms of both linear evaluation and transfer capacity evaluation.

研究动机与目标

• 为应对医学影像中高标注成本的挑战，开发一种用于糖尿病视网膜病变分级的自监督框架。
• 克服标准对比学习在高分辨率眼底图像上的局限性，其中诊断特征（病灶）稀疏，且在数据增强过程中容易丢失。
• 通过聚焦于病灶图像块而非完整眼底图像，改进特征表示学习，增强DR分级的可区分性。
• 研究不同数据增强策略对具有稀疏诊断特征的眼底图像对比学习的影响。
• 在大规模真实世界数据集（如EyePACS）上评估所提方法，证明其优越的迁移能力和线性评估性能。

提出的方法

• 采用两阶段框架：首先在IDRiD数据集上训练目标检测网络，以定位眼底图像中的病灶。
• 使用训练好的检测器从EyePACS数据集中提取病灶图像块，设定置信度阈值（0.7、0.8或0.9）。
• 对病灶图像块应用数据增强操作——裁剪、旋转、色彩失真和灰度化，生成对比学习的正样本视图。
• 通过最小化对比损失，使同一病灶图像块的增强视图的特征嵌入尽可能相似，而不同病灶图像块的特征嵌入尽可能不相似。
• 在这些病灶图像块上以自监督方式预训练特征提取器，随后在下游DR分级任务上进行微调。
• 通过部分和完整EyePACS数据集上的线性评估和迁移能力评估来衡量性能。

实验结果

研究问题

• RQ1 聚焦于病灶图像块而非完整眼底图像，是否能提升糖尿病视网膜病变分级的自监督表示学习？
• RQ2 在具有稀疏诊断特征的眼底图像上，哪种数据增强操作组合对对比学习最有效？
• RQ3 基于病灶的对比学习与标准对比学习（如SimCLR）相比，在线性评估和迁移学习性能上表现如何？
• RQ4 通过置信度阈值筛选的病灶图像块质量是否影响自监督模型的下游性能？
• RQ5 所提方法是否能在标注数据有限的情况下实现优异性能，证明其更强的迁移能力？

主要发现

• 在使用完整EyePACS数据集进行线性评估时，基于病灶的对比学习达到66.88%的加权 kappa 值，相比SimCLR（128×128）提升23.34个百分点。
• 仅使用1%的训练数据时，该方法在迁移能力评估中达到68.37的kappa值，超过全监督基线15.01个百分点。
• 使用更高的检测置信度阈值（0.9）虽导致训练图像块数量减少，但性能更优，表明图像块质量比数量更重要。
• 消融研究显示，裁剪、旋转、色彩失真和灰度化组合的性能最佳（kappa = 62.49）。
• 该方法展现出优越的迁移能力，尤其在低数据场景下表现突出，证实其在少样本DR分级场景中的有效性。
• 源代码已公开，获取地址为 https://github.com/YijinHuang/Lesion-based-Contrastive-Learning。