[论文解读] Study and development of a Computer-Aided Diagnosis system for classification of chest x-ray images using convolutional neural networks pre-trained for ImageNet and data augmentation

Vinicius Pavanelli Vianna|arXiv (Cornell University)|Jun 3, 2018

COVID-19 diagnosis using AI参考文献 15被引用 13

一句话总结

本研究开发了一套计算机辅助诊断（CAD）系统，利用在 ImageNet 上预训练的卷积神经网络（AlexNet、ResNet、Inception、SqueezeNet）和数据增强技术，对胸部X光片图像进行正常与肺炎的分类。主要发现是，结合迁移学习与数据增强显著减少了过拟合现象，并在使用 ResNet18 时实现了 96.37% 的最高验证准确率。

ABSTRACT

Convolutional neural networks (ConvNets) are the actual standard for image recognizement and classification. On the present work we develop a Computer Aided-Diagnosis (CAD) system using ConvNets to classify a x-rays chest images dataset in two groups: Normal and Pneumonia. The study uses ConvNets models available on the PyTorch platform: AlexNet, SqueezeNet, ResNet and Inception. We initially use three training styles: complete from scratch using random initialization, using a pre-trained ImageNet model training only the last layer adapted to our problem (transfer learning) and a pre-trained model modified training all the classifying layers of the model (fine tuning). The last strategy of training used is with data augmentation techniques that avoid over fitting problems on ConvNets yielding the better results on this study

研究动机与目标

• 开发一种可靠且计算效率高的CAD系统，用于基于深度学习对胸部X光片图像进行分类。
• 评估迁移学习与数据增强在小样本、类别不平衡数据集上提升分类准确率的有效性。
• 比较多种训练策略——随机初始化、迁移学习、微调以及数据增强——在卷积神经网络模型上的表现。
• 在有限的医学影像数据上训练深度学习模型时，减少过拟合现象。

提出的方法

• 使用来自 PyTorch 平台的预训练卷积神经网络（AlexNet、ResNet18、Inception、SqueezeNet），并以 ImageNet 权重初始化。
• 实施三种训练策略：从零开始训练、仅微调最后全连接层的迁移学习，以及对分类器进行完整微调。
• 通过 PyTorch 的 torchvision.transforms 对图像进行随机缩放、裁剪和水平翻转，以实现数据增强，提升训练数据的多样性。
• 所有实验均采用 Adam 优化器，并使用其默认超参数，因其收敛速度快且损失较低。
• 将训练集和测试集按正常与肺炎类别调整为 1:1 的比例，以缓解类别不平衡问题。
• 通过准确率、损失曲线、混淆矩阵和受试者工作特征（ROC）曲线评估模型性能。

实验结果

研究问题

• RQ1 在小样本胸部X光片数据集上，使用 ImageNet 预训练权重的迁移学习与从零开始训练相比表现如何？
• RQ2 在有限的医学影像数据上训练卷积神经网络时，数据增强在多大程度上减少了过拟合？
• RQ3 哪种模型架构与训练策略的组合能为胸部X光片诊断提供最高的分类准确率？
• RQ4 混淆矩阵与 ROC 曲线如何反映应用与不应用数据增强训练的分类器的鲁棒性？

主要发现

• 当结合迁移学习与数据增强时，ResNet18 模型实现了 96.37% 的最高验证准确率。
• 在相同的数据增强与微调策略下，Inception 模型的验证准确率为 95.51%。
• 从零开始训练导致严重过拟合，训练准确率达到 100%，但验证准确率仅稳定在 86.38%。
• 数据增强显著减少了过拟合，表现为更低且更稳定的验证损失，以及更好的泛化能力。
• 混淆矩阵显示，应用数据增强后，假阳性和假阴性数量显著减少。
• ROC 曲线表明，数据增强改善了类别分离效果，使曲线下面积（AUC）更接近理想左上角，表明分类器鲁棒性更强。