[论文解读] A Feature Transfer Enabled Multi-Task Deep Learning Model on Medical Imaging

Fei Gao, Hyunsoo Yoon+2 more|arXiv (Cornell University)|Jun 5, 2019

AI in cancer detection参考文献 56被引用 5

一句话总结

该论文提出FTMTLNet，一种新颖的多任务深度学习架构，通过利用不同任务的互补特征图作为共享表征，实现在医学图像分析任务（分类、检测和分割）之间的早期特征迁移。在公开的乳腺X线摄影数据集上评估，FTMTLNet在分类和检测任务中优于现有模型，同时在分割任务中达到具有竞争力的性能，通过跨任务特征知识蒸馏实现了更好的泛化能力。

ABSTRACT

Object detection, segmentation and classification are three common tasks in medical image analysis. Multi-task deep learning (MTL) tackles these three tasks jointly, which provides several advantages saving computing time and resources and improving robustness against overfitting. However, existing multitask deep models start with each task as an individual task and integrate parallelly conducted tasks at the end of the architecture with one cost function. Such architecture fails to take advantage of the combined power of the features from each individual task at an early stage of the training. In this research, we propose a new architecture, FTMTLNet, an MTL enabled by feature transferring. Traditional transfer learning deals with the same or similar task from different data sources (a.k.a. domain). The underlying assumption is that the knowledge gained from source domains may help the learning task on the target domain. Our proposed FTMTLNet utilizes the different tasks from the same domain. Considering features from the tasks are different views of the domain, the combined feature maps can be well exploited using knowledge from multiple views to enhance the generalizability. To evaluate the validity of the proposed approach, FTMTLNet is compared with models from literature including 8 classification models, 4 detection models and 3 segmentation models using a public full field digital mammogram dataset for breast cancer diagnosis. Experimental results show that the proposed FTMTLNet outperforms the competing models in classification and detection and has comparable results in segmentation.

研究动机与目标

• 为解决传统多任务学习模型在深层网络中后期集成任务、无法充分利用早期特征协同效应的局限性。
• 通过在相同领域（如乳腺癌诊断）内跨任务传递知识，提升医学图像分析的鲁棒性与泛化能力。
• 开发一种深度学习框架，利用同一数据领域的多个任务特异性视角，增强特征表征学习。
• 在公开的全视野数字乳腺X线摄影数据集上，将所提模型与最先进模型在分类、检测和分割任务上进行对比评估。

提出的方法

• 提出FTMTLNet，一种多任务学习架构，将不同任务（分类、检测、分割）的特征图在网络早期阶段进行融合，而非后期融合。
• 引入一种特征迁移机制，其中某一任务的特征用于引导和增强另一任务的表征学习，将每个任务视为同一领域的不同视角。
• 采用共享的卷积主干网络，后接任务特异性头部，并通过横向连接实现在中间层的任务间特征流动。
• 使用统一损失函数，整合各任务特定损失，但强调早期特征共享以提升表征质量。
• 应用知识蒸馏原理，但并非跨领域，而是在单一领域内跨任务进行，以增强特征泛化能力。
• 在包含分类、检测和分割标注的公开全视野数字乳腺X线摄影数据集上，端到端训练该模型。

实验结果

研究问题

• RQ1 与标准的后期融合多任务学习相比，跨多个医学图像分析任务进行早期特征迁移是否能提升模型性能？
• RQ2 在分类、检测和分割任务之间共享特征，如何影响医学影像中的泛化能力与鲁棒性？
• RQ3 通过不同任务提供的同一数据领域的互补视角，在多大程度上能增强特征表征学习？
• RQ4 所提出的特征迁移机制是否能减少过拟合并提升在小样本医学数据集上的性能？

主要发现

• 在乳腺X线摄影数据集上，FTMTLNet在分类准确率上优于8种基准分类模型，展现出该任务中的卓越性能。
• 在目标检测任务中，FTMTLNet达到最先进水平，超越所有4种基准检测模型。
• 在分割任务中，FTMTLNet性能与最佳现有模型相当，表明其在不牺牲分割质量的前提下具备强大的泛化能力。
• 消融实验验证，与后期融合基线相比，早期特征迁移显著提升了模型的鲁棒性与收敛速度。
• 通过特征迁移整合多个任务视角，使学习到的特征更具判别性与泛化能力，有效降低了在小样本医学数据集上的过拟合风险。