[论文解读] Classification of COVID-19 in CT Scans using Multi-Source Transfer Learning

Alejandro Martínez|arXiv (Cornell University)|Sep 22, 2020

COVID-19 diagnosis using AI参考文献 19被引用 7

一句话总结

本文提出了一种多源迁移学习（MSTL）框架，通过在中间肺部CT数据集上微调ImageNet预训练模型，再将其适应到小规模COVID-19数据集，从而提升CT扫描中COVID-19的检测性能。该方法利用无监督标签生成方法，在深度残差网络上实现了更高的性能，获得0.897的召回率——比基线模型高出9.3%。

ABSTRACT

Since December of 2019, novel coronavirus disease COVID-19 has spread around the world infecting millions of people and upending the global economy. One of the driving reasons behind its high rate of infection is due to the unreliability and lack of RT-PCR testing. At times the turnaround results span as long as a couple of days, only to yield a roughly 70% sensitivity rate. As an alternative, recent research has investigated the use of Computer Vision with Convolutional Neural Networks (CNNs) for the classification of COVID-19 from CT scans. Due to an inherent lack of available COVID-19 CT data, these research efforts have been forced to leverage the use of Transfer Learning. This commonly employed Deep Learning technique has shown to improve model performance on tasks with relatively small amounts of data, as long as the Source feature space somewhat resembles the Target feature space. Unfortunately, a lack of similarity is often encountered in the classification of medical images as publicly available Source datasets usually lack the visual features found in medical images. In this study, we propose the use of Multi-Source Transfer Learning (MSTL) to improve upon traditional Transfer Learning for the classification of COVID-19 from CT scans. With our multi-source fine-tuning approach, our models outperformed baseline models fine-tuned with ImageNet. We additionally, propose an unsupervised label creation process, which enhances the performance of our Deep Residual Networks. Our best performing model was able to achieve an accuracy of 0.893 and a Recall score of 0.897, outperforming its baseline Recall score by 9.3%.

研究动机与目标

• 解决用于训练鲁棒深度学习模型的标注COVID-19 CT扫描数据有限的挑战。
• 通过引入肺部CT扫描的中间过渡数据集，缓解ImageNet与医学CT图像之间的领域偏移问题。
• 通过减少假阴性，提升模型在检测COVID-19方面的敏感性，这是传染病筛查中的关键关切。
• 开发一种无监督标签生成过程，以在无需人工标注的情况下提升深度残差网络的性能。
• 证明多源微调优于仅使用ImageNet的常规迁移学习。

提出的方法

• 在ImageNet ILSVRC数据集上预训练多个深度CNN（例如DenseNet169、ResNet101V2）作为源领域。
• 在SPIE-AAPM肺部CT挑战赛提供的22,238张肺部CT切片组成的过渡数据集上微调预训练模型，以适应医学影像特征。
• 在UCSD提供的349例COVID-19和397例正常CT扫描的目标数据集上进一步微调模型以进行分类。
• 实施一种无监督标签生成过程，基于模型置信度分配软标签，从而在低数据环境下提升泛化能力。
• 应用两种标签策略——硬标签（二值）和软标签（类别概率），以评估其对模型性能的影响。
• 采用多源域迁移学习：ImageNet（通用图像）、肺部CT（中间医学领域）和最终目标（COVID-19与正常CT）。

实验结果

研究问题

• RQ1 与基于ImageNet的常规迁移学习相比，多源迁移学习是否能提升深度学习模型在CT扫描中分类COVID-19的性能？
• RQ2 引入肺部CT扫描的中间过渡数据集在多大程度上影响了模型的泛化能力和对COVID-19的敏感性？
• RQ3 在低数据医学影像场景中，无监督标签生成方法在多大程度上提升了深度残差网络的性能？
• RQ4 不同的标签策略（硬标签与软标签）在模型性能上，特别是在召回率和假阴性率方面，有何影响？
• RQ5 在不同标签和微调策略下，模型架构复杂度（如ResNet与DenseNet）对性能有何影响？

主要发现

• 表现最佳的模型（ResNet101V2搭配软标签）获得了0.897的召回率，比基线模型高出9.3%。
• ResNet101V2搭配软标签的模型比DenseNet169搭配硬标签的模型少3个假阴性，因此在临床部署中更具适用性，因为假阴性具有高度危害性。
• 在硬标签策略下，DenseNets优于ResNets；而在软标签策略下，ResNets优于DenseNets，表明不同架构对标签方法的敏感性存在差异。
• 多源迁移学习方法显著缩小了ImageNet与医学CT图像之间的领域差距，从而提升了特征学习能力和分类准确率。
• 无监督标签生成过程通过在微调阶段提供更细致的监督，显著提升了模型性能，尤其对深度残差网络效果明显。
• 本研究证明，通过引入与领域相关的中间数据集，迁移学习可得到显著改进，尤其是在目标数据稀缺的情况下。