[论文解读] Feature Representation Analysis of Deep Convolutional Neural Network using Two-stage Feature Transfer -An Application for Diffuse Lung Disease Classification-

Aiga Suzuki, Hidenori Sakanashi+2 more|arXiv (Cornell University)|Oct 15, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 15被引用 12

一句话总结

本文提出一种用于深度卷积神经网络（DCNNs）的两阶段特征迁移学习方法，可提升对纹理性医学影像（如弥漫性肺疾病（DLD）的高分辨率CT扫描）的分类性能。通过先在自然图像上预训练，再在纹理图像上预训练，最后在目标DLD数据集上微调，该方法相较于从零开始训练和单阶段迁移学习，展现出更优的性能与鲁棒性，可视化结果表明其能更有效地捕捉边缘与纹理特征。

ABSTRACT

Transfer learning is a machine learning technique designed to improve generalization performance by using pre-trained parameters obtained from other learning tasks. For image recognition tasks, many previous studies have reported that, when transfer learning is applied to deep neural networks, performance improves, despite having limited training data. This paper proposes a two-stage feature transfer learning method focusing on the recognition of textural medical images. During the proposed method, a model is successively trained with massive amounts of natural images, some textural images, and the target images. We applied this method to the classification task of textural X-ray computed tomography images of diffuse lung diseases. In our experiment, the two-stage feature transfer achieves the best performance compared to a from-scratch learning and a conventional single-stage feature transfer. We also investigated the robustness of the target dataset, based on size. Two-stage feature transfer shows better robustness than the other two learning methods. Moreover, we analyzed the feature representations obtained from DLDs imagery inputs for each feature transfer models using a visualization method. We showed that the two-stage feature transfer obtains both edge and textural features of DLDs, which does not occur in conventional single-stage feature transfer models.

研究动机与目标

• 为解决医学图像分类中训练数据有限的挑战，特别是弥漫性肺疾病（DLD）高分辨力CT（HRCT）扫描中的纹理模式问题。
• 通过扩展传统的单阶段迁移学习，提升DCNN在训练数据稀缺情况下的泛化能力与鲁棒性。
• 探究在多个源域（自然图像与纹理图像）上连续预训练是否能增强医学图像任务中的特征表征能力。
• 分析不同迁移策略所学习的特征表征在DLD图像中对边缘与纹理的敏感性差异。

提出的方法

• 该方法采用两阶段特征迁移流程：首先在大规模自然图像数据集（如ImageNet）上对DCNN进行预训练，随后在一组与目标DLD图像相似的纹理图像上继续预训练。
• 完成两阶段预训练后，整个网络（包括特征提取与分类层）在目标DLD数据集上进行微调。
• 该方法采用标准DCNN架构（如类似AlexNet或VGG），并将迁移学习应用于所有层，而不仅限于分类器，以适应目标域的特征层次结构。
• 通过去卷积网络（DeSaliNet）进行特征可视化，以解析不同层（特别是最后的全连接层Fc6）所学习的滤波器与激活图。
• 反向映射过程通过去卷积、最大池化与ReLU操作重建特征图，以保留空间激活模式用于分析。
• 该方法对比了三种训练策略：从零开始训练、单阶段迁移（仅基于自然图像）与两阶段迁移（自然图像 + 纹理图像）。

实验结果

研究问题

• RQ1 与单阶段迁移或从零开始训练相比，是否两阶段特征迁移（在自然图像与纹理图像上均进行预训练）能在DLD HRCT图像上实现更优的分类性能？
• RQ2 源域选择（自然图像 vs. 纹理图像）如何影响DCNN在医学图像任务中所学习的特征表征？
• RQ3 当目标训练数据集规模减小时，两阶段迁移在多大程度上提升了模型的鲁棒性？
• RQ4 采用不同迁移策略训练的DCNN所捕捉的视觉特征（边缘、纹理）有何差异？其激活模式如何不同？

主要发现

• 两阶段特征迁移在DLD HRCT数据集上实现了最高的分类准确率，优于从零开始训练与单阶段迁移学习。
• 该方法在训练数据量减少时表现出更优的鲁棒性，即使在标注样本有限的情况下仍能保持较高性能。
• 可视化结果表明，两阶段迁移模型在边缘结构（来自自然图像预训练）与纹理模式（来自纹理图像预训练）上均表现出强烈激活，而单阶段模型仅偏向其中一种特征。
• 仅在自然图像上预训练的模型对边缘激活强烈，但对纹理响应微弱；而仅在纹理图像上预训练的模型则表现出相反模式。
• 两阶段方法生成了更均衡、更全面的特征表征，同时具备对DLD诊断相关结构与纹理特征的敏感性。
• 结果表明，源域选择显著影响特征表征，多源域预训练可增强DCNN在医学影像任务中的泛化能力。