[论文解读] Joint Liver Lesion Segmentation and Classification via Transfer Learning

Michal Heker, Hayit Greenspan|arXiv (Cornell University)|Apr 26, 2020

COVID-19 diagnosis using AI参考文献 9被引用 5

一句话总结

本论文提出了一种基于迁移学习和联合学习的联合肝脏病灶分割与分类框架，采用U-Net结构并以SE-ResNet作为主干网络。结果表明，简单的联合学习方法优于标准的Y-Net多任务架构，在LiTS数据集上微调后，分类准确率提高了10%，分割召回率提高了4%，凸显了领域特定预训练和共享特征学习在小样本医学影像数据集中的优势。

ABSTRACT

Transfer learning and joint learning approaches are extensively used to improve the performance of Convolutional Neural Networks (CNNs). In medical imaging applications in which the target dataset is typically very small, transfer learning improves feature learning while joint learning has shown effectiveness in improving the network's generalization and robustness. In this work, we study the combination of these two approaches for the problem of liver lesion segmentation and classification. For this purpose, 332 abdominal CT slices containing lesion segmentation and classification of three lesion types are evaluated. For feature learning, the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge is used. Joint learning shows improvement in both segmentation and classification results. We show that a simple joint framework outperforms the commonly used multi-task architecture (Y-Net), achieving an improvement of 10% in classification accuracy, compared to a 3% improvement with Y-Net.

研究动机与目标

• 通过联合学习与迁移学习提升小样本医学影像数据集中肝脏病灶分割与分类的性能。
• 评估不同预训练策略（随机初始化、ImageNet、LiTS）对模型泛化能力与收敛性的影响。
• 将简单的联合学习框架与标准的Y-Net多任务架构进行比较，以评估其在联合分割与分类任务中的表现。
• 探究在低数据环境下，分割与分类任务之间的共享表征学习是否能提升整体性能。
• 证明从相似领域数据集（LiTS）进行迁移学习可为肝脏病灶分析提供更优的特征表示。

提出的方法

• 采用以SE-ResNet作为编码器的U-Net架构，引入残差连接与挤压-激励模块以增强特征学习能力。
• 提出两种主要框架：一种是类似Y-Net的多任务架构，包含独立的分割头与分类头；另一种是联合学习框架，通过像素级分类并结合多数投票确定病灶类型。
• 联合学习框架对分割与分类任务使用单一加权交叉熵损失函数，类别权重与类别频率成反比，以缓解类别不平衡问题。
• 通过微调应用迁移学习，采用三种初始化策略：随机初始化、ImageNet预训练，以及在LiTS数据集上进行肝脏病灶分割的预训练。
• 采用两阶段级联方法：首先使用LiTS训练的模型分割肝脏；随后提取肝脏ROI区域裁剪图作为主模型的输入，以减少类别不平衡。
• 在包含332张腹部CT切片的私有数据集上进行3折交叉验证，病灶类型共3类：75个囊肿、71个血管瘤、93个转移性病灶。

实验结果

研究问题

• RQ1 与分别训练分割与分类任务相比，分割与分类之间的联合学习是否能提升性能？
• RQ2 在肝脏病灶分析中，与ImageNet或随机初始化相比，在相似领域数据集（LiTS）上预训练是否能提供更优的特征表示？
• RQ3 在分割与分类准确率方面，简单联合学习框架与标准Y-Net多任务架构相比表现如何？
• RQ4 从LiTS进行迁移学习在小样本医学影像数据集中在多大程度上提升了收敛性与泛化能力？
• RQ5 分割与分类任务之间的共享表征学习是否能带来相互的性能增益？

主要发现

• 在LiTS数据集上微调后，联合学习框架的分类准确率达到86%，相比基线模型提升10%，相比Y-Net架构提升3%。
• 联合学习框架的分割Dice分数为0.71，召回率为0.76，优于Y-Net的0.71 Dice分数与0.68召回率，召回率提升4%。
• 在LiTS数据集上微调相比ImageNet或随机初始化，显著加快了收敛速度并提升了泛化能力，尤其在低数据环境下表现更优。
• Y-Net多任务架构相比基线模型将分类准确率提升了3%，但简单的联合学习框架在分类准确率上仍比其高出10%。
• 在LiTS数据集上进行预训练显著提升了模型性能，证明了领域特定迁移学习在医学图像分析中的价值。
• 结果证实，分割与分类任务之间的共享特征学习能带来相互的性能增益，尤其在与相关任务的迁移学习结合时更为显著。