[论文解读] Can Pretrained Neural Networks Detect Anatomy?

Vlado Menkovski, Zharko Aleksovski+2 more|arXiv (Cornell University)|Dec 18, 2015

AI in cancer detection参考文献 7被引用 3

一句话总结

本文研究了使用预训练和自定义卷积神经网络进行X射线图像解剖结构检测的迁移学习与数据增强方法。结果表明，通过SVM微调预训练的OverFeat网络可达到92.42%的准确率，而采用大量数据增强和正则化的自定义CNN则达到95.14%的准确率，证明在应用适当的正则化和数据增强技术时，即使医疗数据有限，也能实现稳健的特征学习。

ABSTRACT

Convolutional neural networks demonstrated outstanding empirical results in computer vision and speech recognition tasks where labeled training data is abundant. In medical imaging, there is a huge variety of possible imaging modalities and contrasts, where annotated data is usually very scarce. We present two approaches to deal with this challenge. A network pretrained in a different domain with abundant data is used as a feature extractor, while a subsequent classifier is trained on a small target dataset; and a deep architecture trained with heavy augmentation and equipped with sophisticated regularization methods. We test the approaches on a corpus of X-ray images to design an anatomy detection system.

研究动机与目标

• 通过探索迁移学习和数据增强策略，解决标注医学影像数据有限的挑战。
• 评估在自然图像上预训练的神经网络是否能泛化到医学解剖结构检测任务。
• 研究在小规模医学数据集上，通过强正则化和数据增强是否能有效训练深度网络。
• 比较现成特征提取器（如OverFeat）与在医学数据上端到端训练的自定义架构的性能。

提出的方法

• 在ImageNet上微调预训练的OverFeat网络，从X射线图像中提取4096维特征。
• 使用5折交叉验证和详尽的超参数搜索（正则化参数C）在提取的特征上训练线性多类SVM。
• 设计一种受Razavian等人启发的自定义深度CNN，采用批量归一化、Dropout和Leaky ReLU激活函数。
• 应用广泛的图像增强技术，包括缩放、裁剪、旋转、平移、错切、拉伸和翻转，以增加有效训练数据量。
• 在包含14,676张图像和24个解剖结构类别的小规模X射线数据集上，端到端训练自定义CNN。
• 使用ImageClef 2009医学图像数据集的90/10训练-测试划分评估两种方法。

实验结果

研究问题

• RQ1 在自然图像上预训练的神经网络能否作为X射线图像解剖结构检测的有效特征提取器？
• RQ2 使用预训练网络的迁移学习与从零开始训练自定义深度网络并结合数据增强的性能相比如何？
• RQ3 数据增强和正则化在多大程度上可以弥补标注医学训练数据的不足？
• RQ4 仅微调预训练网络的最后几层是否足以在医学影像中实现有效的迁移学习？

主要发现

• OverFeat + SVM方法在X射线解剖结构检测任务上达到92.42%的测试准确率。
• 通过大量数据增强和正则化的自定义CNN达到95.14%的更高准确率，优于迁移学习基线方法。
• 即使应用于原始训练领域之外，OverFeat等预训练网络也能作为强大的通用图像描述符。
• 当结合激进的数据增强和正则化技术时，足够深的网络架构可在小规模医学数据集上成功训练。
• 在数据稀缺的医学影像场景中，仅微调预训练网络的最后几层是一种可行且有效的迁移学习策略。