[论文解读] Critical Assessment of Transfer Learning for Medical Image Segmentation with Fully Convolutional Neural Networks

Davood Karimi, Simon K. Warfield+1 more|arXiv (Cornell University)|May 30, 2020

Radiomics and Machine Learning in Medical Imaging被引用 14

一句话总结

本文对全卷积网络（FCNs）在医学图像分割中的迁移学习进行了批判性评估，表明冻结编码器并仅训练解码器即可获得高度准确的结果。令人惊讶的是，预训练特征的重要性远低于以往假设，深层解码器层中观察到显著的特征复用，这挑战了关于编码器微调的传统认知。

ABSTRACT

Transfer learning is widely used for training machine learning models. Here, we study the role of transfer learning for training fully convolutional networks (FCNs) for medical image segmentation. Our experiments show that although transfer learning reduces the training time on the target task, the improvement in segmentation accuracy is highly task/data-dependent. Larger improvements in accuracy are observed when the segmentation task is more challenging and the target training data is smaller. We observe that convolutional filters of an FCN change little during training for medical image segmentation, and still look random at convergence. We further show that quite accurate FCNs can be built by freezing the encoder section of the network at random values and only training the decoder section. At least for medical image segmentation, this finding challenges the common belief that the encoder section needs to learn data/task-specific representations. We examine the evolution of FCN representations to gain a better insight into the effects of transfer learning on the training dynamics. Our analysis shows that although FCNs trained via transfer learning learn different representations than FCNs trained with random initialization, the variability among FCNs trained via transfer learning can be as high as that among FCNs trained with random initialization. Moreover, feature reuse is not restricted to the early encoder layers; rather, it can be more significant in deeper layers. These findings offer new insights and suggest alternative ways of training FCNs for medical image segmentation.

研究动机与目标

• 评估在医学影像中使用FCN进行分割时，迁移学习对实际性能的影响。
• 探究预训练编码器权重是否对医学图像分割的高性能至关重要。
• 分析训练过程中网络各层间学习表征与特征复用的演变过程。
• 探索绕过编码器完整微调的替代训练策略。
• 理解在何种条件下迁移学习能带来显著的精度提升与收敛速度改善。

提出的方法

• 在多个医学影像数据集（肝脏CT、胎儿脑部、胰腺、脑部病变）上训练FCN，分别采用迁移学习与随机初始化的方法。
• 使用特征复用作为度量指标，通过计算各层特征图之间的余弦相似度来量化源任务与目标任务之间的知识迁移程度。
• 对比全微调、编码器冻结与仅训练解码器的模型，以评估性能与收敛动态。
• 利用投影方向分析与特征相似性度量，分析训练过程中表征的变化。
• 在不同领域偏移条件下评估迁移学习效果，包括不同成像模态（MRI与CT）及不同图像质量水平。
• 以Dice相似系数（DSC）与训练时间作为关键性能指标报告结果。

实验结果

研究问题

• RQ1 迁移学习是否在FCN的医学图像分割中始终提升分割精度？
• RQ2 采用迁移学习训练的FCN与从随机初始化训练的模型相比，性能如何？
• RQ3 在医学图像分割训练过程中，FCN中的卷积滤波器变化程度如何？
• RQ4 在医学图像的迁移学习中，特征复用在编码器早期层还是深层解码器层更高？
• RQ5 能否通过冻结编码器并仅训练解码器来实现高精度分割？

主要发现

• 迁移学习可减少训练时间，但仅带来适度的精度提升，尤其在目标数据丰富且图像质量高的情况下。
• 在数据有限或质量较低的挑战性任务中，迁移学习带来更大的精度提升，例如皮质板分割的DSC提升最高达0.10。
• FCN中的卷积滤波器在训练过程中基本保持不变，即使在收敛时仍呈现随机状态，表明编码器中的特征适应程度极低。
• 即使使用随机初始化，仅训练最后两层解码器并冻结编码器，也能实现高度准确的模型（肝脏CT数据集DSC > 0.95）。
• 特征复用不仅限于浅层；在某些情况下，复用程度从编码器向解码器递增，解码器层的复用值最高可达0.690。
• 采用迁移学习训练的模型在表征上表现出高度可变性，与随机初始化训练的模型相当，表明不同运行之间学习到的特征缺乏一致性。