[论文解读] Evaluation of Transfer Learning for Classification of: (1) Diabetic Retinopathy by Digital Fundus Photography and (2) Diabetic Macular Edema, Choroidal Neovascularization and Drusen by Optical Coherence Tomography

Rony Gelman|arXiv (Cornell University)|Jan 26, 2019

Retinal Imaging and Analysis参考文献 27被引用 4

一句话总结

本论文评估了使用预训练深度神经网络（DenseNet、ResNet、Inception、VGG、AlexNet）进行迁移学习，以从眼底照相图像中分类糖尿病性视网膜病变，以及从光学相干断层扫描（OCT）图像中分类糖尿病性黄斑水肿、脉络膜新生血管化和玻璃疣。结果显示，微调预训练模型可实现高准确率（糖尿病性视网膜病变分类最高达94.5%），且显著优于从零开始训练，证明了在低数据量医学影像场景下迁移学习的可行性与优越性。

ABSTRACT

Deep learning has been successfully applied to a variety of image classification tasks. There has been keen interest to apply deep learning in the medical domain, particularly specialties that heavily utilize imaging, such as ophthalmology. One issue that may hinder application of deep learning to the medical domain is the vast amount of data necessary to train deep neural networks (DNNs). Because of regulatory and privacy issues associated with medicine, and the generally proprietary nature of data in medical domains, obtaining large datasets to train DNNs is a challenge, particularly in the ophthalmology domain. Transfer learning is a technique developed to address the issue of applying DNNs for domains with limited data. Prior reports on transfer learning have examined custom networks to fully train or used a particular DNN for transfer learning. However, to the best of my knowledge, no work has systematically examined a suite of DNNs for transfer learning for classification of diabetic retinopathy, diabetic macular edema, and two key features of age-related macular degeneration. This work attempts to investigate transfer learning for classification of these ophthalmic conditions. Part I gives a condensed overview of neural networks and the DNNs under evaluation. Part II gives the reader the necessary background concerning diabetic retinopathy and prior work on classification using retinal fundus photographs. The methodology and results of transfer learning for diabetic retinopathy classification are presented, showing that transfer learning towards this domain is feasible, with promising accuracy. Part III gives an overview of diabetic macular edema, choroidal neovascularization and drusen (features associated with age-related macular degeneration), and presents results for transfer learning evaluation using optical coherence tomography to classify these entities.

研究动机与目标

• 系统评估多种预训练深度神经网络在眼科图像分类中迁移学习的适用性。
• 评估在低数据量医学影像设置下，迁移学习与从零开始训练的性能差异。
• 比较两种迁移学习策略：固定特征提取与微调，应用于视网膜眼底照相和OCT图像。
• 使用多种深度学习架构评估糖尿病性视网膜病变（DR）、糖尿病性黄斑水肿（DME）、脉络膜新生血管化（CNV）和玻璃疣的分类准确率。
• 为预训练模型与非预训练模型之间性能差异的统计显著性提供实证证据。

提出的方法

• 使用五种预训练深度神经网络：ResNet-18、DenseNet-161、Inception_v3、VGG-19和AlexNet，均在ImageNet上预训练。
• 将迁移学习应用于两种不同的医学影像任务：(1) 基于眼底照相图像的糖尿病性视网膜病变分类（Kaggle数据集），以及(2) 基于OCT扫描的糖尿病性黄斑水肿、CNV和玻璃疣分类。
• 评估两种迁移学习策略：(a) 将预训练网络用作固定特征提取器，以及(b) 微调网络的最后几层。
• 在眼底图像上训练50个周期，在OCT图像上训练25个周期，使用标准交叉熵损失和Adam优化。
• 使用Wilcoxon符号秩检验和Mann-Whitney U检验进行统计分析，比较不同配置下的模型性能。
• 使用准确率、敏感性、特异性及加权 kappa 统计量报告结果，并为所有模型提供混淆矩阵。

实验结果

研究问题

• RQ1 与从零开始训练相比，将迁移学习应用于眼底照相图像时，是否显著提高糖尿病性视网膜病变分类的准确率？
• RQ2 在使用迁移学习进行糖尿病性视网膜病变分类时，哪种预训练深度神经网络架构表现最佳？
• RQ3 在眼科图像分类中，微调是否始终优于固定特征提取？
• RQ4 在OCT图像上，针对多种眼科疾病（DME、CNV、玻璃疣），不同迁移学习策略（特征提取 vs. 微调）的表现如何？
• RQ5 预训练模型与非预训练模型之间的性能差异是否具有统计显著性？

主要发现

• 微调预训练模型在眼底图像上的糖尿病性视网膜病变分类中实现了最高94.5%的测试准确率，显著优于从零开始训练。
• ResNet-18和DenseNet-161在所有评估模型中对糖尿病性视网膜病变分类表现最佳，微调后准确率超过90%。
• 统计检验证实，使用预训练模型进行微调相比非预训练模型，损失显著降低且准确率更高（大多数比较的p值 < 0.05）。
• 在基于OCT的分类中，DenseNet-161和Inception_v3表现出色，混淆矩阵显示其对DME和CNV检测具有高敏感性和特异性。
• 将预训练模型用作固定特征提取器也实现了对眼底和OCT任务的高准确率（超过85%），但始终低于微调策略。
• 在多个比较中，预训练模型与非预训练模型之间存在显著性能差距，p值 < 0.001，证实了迁移学习优势的统计显著性。