[论文解读] Conversion and Implementation of State-of-the-Art Deep Learning Algorithms for the Classification of Diabetic Retinopathy

M V Achuth Rao, Michelle Zhu+1 more|arXiv (Cornell University)|Oct 7, 2020

Retinal Imaging and Analysis参考文献 13被引用 9

一句话总结

本研究利用迁移学习和数据增强技术，在有限且不平衡的医学眼底图像数据集上评估了最先进的卷积神经网络（CNNs）在糖尿病视网膜病变（DR）分类中的表现。在二分类任务中，使用Adam优化器的ResNet50取得了最高性能（85.02%准确率），而在多分类任务中，使用Adam优化器的InceptionResNetV2表现最佳（85.02%准确率，97%宏平均AUC）。

ABSTRACT

Diabetic retinopathy (DR) is a retinal microvascular condition that emerges in diabetic patients. DR will continue to be a leading cause of blindness worldwide, with a predicted 191.0 million globally diagnosed patients in 2030. Microaneurysms, hemorrhages, exudates, and cotton wool spots are common signs of DR. However, they can be small and hard for human eyes to detect. Early detection of DR is crucial for effective clinical treatment. Existing methods to classify images require much time for feature extraction and selection, and are limited in their performance. Convolutional Neural Networks (CNNs), as an emerging deep learning (DL) method, have proven their potential in image classification tasks. In this paper, comprehensive experimental studies of implementing state-of-the-art CNNs for the detection and classification of DR are conducted in order to determine the top performing classifiers for the task. Five CNN classifiers, namely Inception-V3, VGG19, VGG16, ResNet50, and InceptionResNetV2, are evaluated through experiments. They categorize medical images into five different classes based on DR severity. Data augmentation and transfer learning techniques are applied since annotated medical images are limited and imbalanced. Experimental results indicate that the ResNet50 classifier has top performance for binary classification and that the InceptionResNetV2 classifier has top performance for multi-class DR classification.

研究动机与目标

• 解决糖尿病视网膜病变（DR）分类中受限且不平衡的眼底医学图像数据集带来的挑战。
• 评估最先进的深度学习模型——Inception-V3、VGG16、VGG19、ResNet50与InceptionResNetV2——在DR图像分类中的表现。
• 确定在二分类与多分类DR严重程度分类任务中，最优的模型架构与优化器组合。
• 探究输入尺寸与跳跃连接对医学图像分类任务中模型性能的影响。
• 提出一种可部署、成本效益高的深度学习诊断工具，用于DR检测，尤其适用于资源有限的地区。

提出的方法

• 使用ImageNet预训练权重进行迁移学习，初始化CNN模型，以减少小样本数据集上的训练时间并提升性能。
• 应用旋转、缩放和噪声注入等数据增强技术，增加训练数据的多样性，并缓解类别不平衡问题。
• 采用两种输入尺寸——224×224像素与299×299像素——评估不同分辨率下的模型性能，以分析输入尺寸的影响。
• 使用两种优化器——Adam与随机梯度下降（SGD）——进行训练，比较其在收敛性与准确率上的影响。
• 实施五级严重程度（0–4）的多分类任务，基于DR进展，采用分类交叉熵损失函数。
• 提出一种多阶段二分类系统，采用类似决策树的方法，将各二分类模型的Sigmoid输出通过Argmax组合，实现最终的五分类预测。

实验结果

研究问题

• RQ1 在二分类与多分类设置下，哪种最先进的CNN架构在糖尿病视网膜病变分类中达到最高准确率？
• RQ2 不同优化器（Adam与SGD）如何影响在有限医学影像数据上的模型收敛性与性能？
• RQ3 与自定义尺寸输入相比，使用模型默认输入尺寸是否能提升性能？
• RQ4 残差网络中的跳跃连接（如ResNet50）在多大程度上缓解了梯度消失问题并提升了学习能力？
• RQ5 与直接进行多分类训练相比，多阶段二分类系统是否能提升五分类DR严重程度预测的准确性？

主要发现

• 使用Adam优化器的ResNet50在二分类任务中达到最高测试准确率85.02%，优于其他模型。
• 使用Adam优化器的InceptionResNetV2在多分类任务中表现最佳，测试准确率达到85.02%，宏平均AUC为0.97。
• 与使用随机梯度下降（SGD）训练的模型相比，使用Adam训练的模型性能显著更优，尤其在多分类任务中表现更佳。
• 使用模型特定的默认输入尺寸（224×224或299×299）的性能优于重采样后的输入，可能是因为保留了预训练的特征图。
• ResNet50与InceptionResNetV2中的跳跃连接有效缓解了梯度消失问题，使深层网络的训练更加稳定和高效。
• 混淆矩阵与ROC曲线证实，性能最佳的模型具有高特异性和高敏感性，尤其在多分类设置中，InceptionResNetV2表现突出。