[论文解读] Deep Convolutional Neural Networks for Computer-Aided Detection: CNN Architectures, Dataset Characteristics and Transfer Learning

Hoo-Chang Shin, Holger R. Roth+7 more|arXiv (Cornell University)|Feb 10, 2016

COVID-19 diagnosis using AI参考文献 53被引用 45

一句话总结

本文评估了深度卷积神经网络（CNN）在医学影像计算机辅助检测中的应用，重点关注CNN架构、数据集规模和迁移学习。结果表明，微调ImageNet预训练模型显著提升了淋巴结检测的性能（每例患者3个假阳性时达到85%的敏感度），并首次实现了基于轴向CT的间质性肺病分类的五折交叉验证结果。

ABSTRACT

Remarkable progress has been made in image recognition, primarily due to the availability of large-scale annotated datasets and the revival of deep CNN. CNNs enable learning data-driven, highly representative, layered hierarchical image features from sufficient training data. However, obtaining datasets as comprehensively annotated as ImageNet in the medical imaging domain remains a challenge. There are currently three major techniques that successfully employ CNNs to medical image classification: training the CNN from scratch, using off-the-shelf pre-trained CNN features, and conducting unsupervised CNN pre-training with supervised fine-tuning. Another effective method is transfer learning, i.e., fine-tuning CNN models pre-trained from natural image dataset to medical image tasks. In this paper, we exploit three important, but previously understudied factors of employing deep convolutional neural networks to computer-aided detection problems. We first explore and evaluate different CNN architectures. The studied models contain 5 thousand to 160 million parameters, and vary in numbers of layers. We then evaluate the influence of dataset scale and spatial image context on performance. Finally, we examine when and why transfer learning from pre-trained ImageNet (via fine-tuning) can be useful. We study two specific computer-aided detection (CADe) problems, namely thoraco-abdominal lymph node (LN) detection and interstitial lung disease (ILD) classification. We achieve the state-of-the-art performance on the mediastinal LN detection, with 85% sensitivity at 3 false positive per patient, and report the first five-fold cross-validation classification results on predicting axial CT slices with ILD categories. Our extensive empirical evaluation, CNN model analysis and valuable insights can be extended to the design of high performance CAD systems for other medical imaging tasks.

研究动机与目标

• 研究CNN架构的深度和宽度对医学图像分类性能的影响。
• 分析数据集规模和空间图像上下文对计算机辅助检测中CNN性能的影响。
• 评估从ImageNet预训练模型迁移学习在医学影像任务中的有效性。
• 通过微调CNN实现纵隔淋巴结检测的最先进性能。
• 为基于轴向CT的间质性肺病分类提供首次五折交叉验证结果。

提出的方法

• 评估了参数量从500万到1.6亿不等的多种CNN架构，包括AlexNet、GoogLeNet及其更深层次的变体。
• 比较了三种训练策略：从零开始训练、使用现成的预训练特征，以及微调ImageNet预训练模型。
• 通过微调ImageNet预训练CNN，在两个医学影像任务（淋巴结检测和ILD分类）中应用迁移学习。
• 采用基于2D切片的分类方法，并结合多平面重采样以处理3D CT数据，提升训练样本的多样性。
• 应用去卷积可视化技术以解释特征图，并评估训练模型的定位能力。
• 对ILD分类执行五折交叉验证，并报告了淋巴结检测的敏感度和假阳性率。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，不同深度和宽度的CNN架构在医学图像检测任务中的表现如何？
• RQ2 数据集规模和空间上下文对计算机辅助检测中CNN性能有何影响？
• RQ3 在什么情况下以及为何从ImageNet预训练模型进行迁移学习对医学图像分类有益？
• RQ4 微调后的ImageNet模型是否能在小规模医学影像数据集上超越从零开始训练的模型？
• RQ5 特征激活图和可视化技术如何反映训练好的CNN在医学图像中的定位能力？

主要发现

• 微调ImageNet预训练CNN在纵隔淋巴结检测中实现了最先进性能，达到每例患者3个假阳性时85%的敏感度。
• 本研究首次报告了基于轴向CT切片分类为间质性肺病类别的五折交叉验证结果，实现了稳健的性能评估。
• 即使在训练数据有限的情况下，深度达22层的CNN架构仍表现出色，挑战了医学影像中必须使用小型模型的假设。
• 从ImageNet进行迁移学习始终提升了分类准确率，证明了预训练层次化特征在医学图像分析中的价值。
• 最后池化层激活图的可视化显示，微调模型（AlexNet-TL）在定位病灶区域方面优于未微调的对应模型（AlexNet-ImNet）。
• 从零开始训练的模型与使用迁移学习的模型之间的性能差距在小数据集上最为显著，凸显了迁移学习在数据稀缺环境中的关键作用。