[论文解读] Does Non-COVID19 Lung Lesion Help? Investigating Transferability in COVID-19 CT Image Segmentation

Yixin Wang, Yao Zhang+6 more|arXiv (Cornell University)|Jun 23, 2020

COVID-19 diagnosis using AI参考文献 38被引用 8

一句话总结

本文提出一种混合编码器学习策略，通过迁移学习利用非COVID-19肺部病变数据集来提升COVID-19 CT图像分割性能。通过在多种肺部病变类型上进行预训练，并采用基于注意力机制的选择性融合方式整合专用编码器与适配编码器的特征，该方法在有限标注的COVID-19数据下实现了0.704的平均DSC，显著降低了过拟合风险。

ABSTRACT

Coronavirus disease 2019 (COVID-19) is a highly contagious virus spreading all around the world. Deep learning has been adopted as an effective technique to aid COVID-19 detection and segmentation from computed tomography (CT) images. The major challenge lies in the inadequate public COVID-19 datasets. Recently, transfer learning has become a widely used technique that leverages the knowledge gained while solving one problem and applying it to a different but related problem. However, it remains unclear whether various non-COVID19 lung lesions could contribute to segmenting COVID-19 infection areas and how to better conduct this transfer procedure. This paper provides a way to understand the transferability of non-COVID19 lung lesions. Based on a publicly available COVID-19 CT dataset and three public non-COVID19 datasets, we evaluate four transfer learning methods using 3D U-Net as a standard encoder-decoder method. The results reveal the benefits of transferring knowledge from non-COVID19 lung lesions, and learning from multiple lung lesion datasets can extract more general features, leading to accurate and robust pre-trained models. We further show the capability of the encoder to learn feature representations of lung lesions, which improves segmentation accuracy and facilitates training convergence. In addition, our proposed Hybrid-encoder learning method incorporates transferred lung lesion features from non-COVID19 datasets effectively and achieves significant improvement. These findings promote new insights into transfer learning for COVID-19 CT image segmentation, which can also be further generalized to other medical tasks.

研究动机与目标

• 探究非COVID-19肺部病变是否能提升深度学习模型在COVID-19 CT图像分割中的泛化能力与鲁棒性。
• 评估从多样化肺部病变类型中学习到的特征在分割COVID-19感染任务中的可迁移性。
• 开发并验证一种新颖的迁移学习策略，有效结合非COVID-19病变与COVID-19感染数据的特征。
• 在低数据环境下减少过拟合并提升训练收敛性。

提出的方法

• 在包含公开非COVID-19肺部CT扫描的多病变数据集上预训练一个3D U-Net编码器，以学习通用肺部病变表征。
• 提出一种混合编码器学习策略，包含两个并行编码器：专用编码器用于学习COVID-19特异性特征，适配编码器用于学习通用肺部病变特征。
• 引入一种基于注意力机制的选择性融合模块，根据输入上下文动态加权并聚合来自两个编码器的特征。
• 评估四种迁移学习策略：持续学习、主体微调、预训练病变表征，以及所提出的混合编码器学习策略。
• 采用五折交叉验证，结合2020年COVID-19 CT分割数据集与三个公开的非COVID-19数据集，以确保性能评估的稳健性。
• 采用标准指标（包括Dice相似系数（DSC）、归一化表面Dice（NSD）、敏感性、F1-score与准确率）进行模型对比。

实验结果

研究问题

• RQ1 在多样化非COVID-19肺部病变数据集上进行预训练，是否能提升深度学习模型在CT扫描中分割COVID-19感染的表现？
• RQ2 在标注数据有限的背景下，非COVID-19肺部病变的特征可迁移性在不同迁移学习策略中表现如何？
• RQ3 与单一疾病预训练相比，多病变预训练模型是否能带来更好的泛化能力并降低过拟合风险？
• RQ4 一种将COVID-19特异性特征与通用肺部病变特征学习分离的混合编码器架构，是否能提升分割准确率与收敛性？

主要发现

• 所提出的混合编码器学习策略在测试集上实现了0.704的平均Dice相似系数（DSC）、0.735的NSD、0.682的敏感性、0.707的F1-score与0.994的准确率。
• 在多种非COVID-19肺部病变数据集上进行预训练，显著提升了模型泛化能力并降低了过拟合风险，相较于从零开始训练或使用单一疾病预训练。
• 基于注意力机制的选择性融合模块实现了动态特征选择，增强了模型对不同病变形态的适应能力，并提升了分割的一致性。
• 采用冻结编码器并利用预训练病变表征的策略表现出显著的性能提升，表明所学特征即使未微调也具有强大的可迁移性。
• 多病变预训练模型优于所有其他迁移学习策略，表明预训练数据的多样性能够增强特征丰富度并提升下游性能。
• 混合编码器方法在性能与训练效率之间实现了最佳平衡，跨折平均每个病例的推理时间约为213秒。