[论文解读] A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis

Yi Liu, Shuiwang Ji|arXiv (Cornell University)|Jan 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 6

一句话总结

本文提出了一种多阶段注意力迁移学习框架，通过在自然图像和医学图像上进行监督预训练与自监督预训练，提升从胸部CT扫描中诊断COVID-19的性能，其中提出了一种新颖的自监督方法以突出显示肺部亚结构。结果表明，注意力机制在迁移学习中的可迁移性显著高于卷积层，无论在ResNet-50还是ResNet-101模型中，各项指标的性能均得到提升。

ABSTRACT

Computed tomography (CT) imaging is a promising approach to diagnosing the COVID-19. Machine learning methods can be employed to train models from labeled CT images and predict whether a case is positive or negative. However, there exists no publicly-available and large-scale CT data to train accurate models. In this work, we propose a multi-stage attentive transfer learning framework for improving COVID-19 diagnosis. Our proposed framework consists of three stages to train accurate diagnosis models through learning knowledge from multiple source tasks and data of different domains. Importantly, we propose a novel self-supervised learning method to learn multi-scale representations for lung CT images. Our method captures semantic information from the whole lung and highlights the functionality of each lung region for better representation learning. The method is then integrated to the last stage of the proposed transfer learning framework to reuse the complex patterns learned from the same CT images. We use a base model integrating self-attention (ATTNs) and convolutional operations. Experimental results show that networks with ATTNs induce greater performance improvement through transfer learning than networks without ATTNs. This indicates attention exhibits higher transferability than convolution. Our results also show that the proposed self-supervised learning method outperforms several baseline methods.

研究动机与目标

• 为解决在COVID-19诊断中训练精确深度学习模型时标注CT数据有限的关键挑战。
• 探究在医学影像迁移学习中，注意力机制是否比卷积层更有效地迁移知识。
• 开发一种新颖的自监督学习方法，以捕捉多尺度肺部区域表征，从而改善CT图像的表征学习。
• 设计一种统一的、多阶段的迁移学习框架，整合来自不同数据领域（自然图像、医学图像、相同CT数据）的监督与自监督预训练。
• 证明注意力增强网络在将知识从源任务迁移到COVID-19诊断目标任务中的有效性。

提出的方法

• 该框架包含三个阶段：从自然图像进行监督迁移学习（STL-N）、从医学图像进行监督迁移学习（STL-M），以及从相同CT图像进行自监督迁移学习（SSTL-M）。
• 提出一种新颖的自监督方法，通过利用肺部亚结构的生物学知识，学习多尺度表征，同时捕捉全局肺部与区域功能信息。
• 在ResNet架构中集成自注意力模块（ATTNs），以比较注意力与卷积层在迁移学习中的可迁移性。
• 框架使用结合卷积操作与自注意力的基线模型来提取分层特征，并通过Grad-CAM可视化注意力图以增强可解释性。
• 按阶段应用迁移学习：首先在STL-N和STL-M上进行预训练，然后在目标COVID-19诊断任务上进行微调。
• 计算LEEP分数以定量评估可迁移性，比较不同网络变体在各预训练阶段的性能提升。

实验结果

研究问题

• RQ1 在医学图像诊断的迁移学习中，基于注意力的特征学习是否比基于卷积的特征学习具有更优的迁移效果？
• RQ2 一种强调肺部亚结构功能的自监督方法能否改善低资源CT数据集上的表征学习？
• RQ3 使用自然图像、医学图像和自监督CT数据的多阶段迁移学习如何影响最终的诊断性能？
• RQ4 与标准卷积层相比，注意力层在CT扫描中检测感染区域方面的性能提升程度如何？
• RQ5 注意力层带来的性能增益是否在不同网络深度和预训练策略下保持一致？

主要发现

• 采用自注意力层（ATTNs）的网络在迁移学习中获得的性能提升显著高于标准ResNet，在STL-M阶段增加1个ATTN后，ResNet-50的F1-score提高了4.7%。
• 在ResNet-50上，增加5个ATTNs使STL-N的准确率提升2.8%、F1-score提升4.7%、AUC提升1.5%，表明各项指标均实现一致增益。
• 所提出的自监督学习方法在肺部CT图像的表征学习方面优于多个最先进基线方法，从而实现了更优的下游诊断性能。
• 通过Grad-CAM获得的定性结果表明，注意力层能有效突出CT扫描中严重感染区域，而卷积层有时会错误地将重要性归因于未感染区域。
• LEEP分数分析证实，无论源数据与目标数据之间的分布差异如何，注意力机制在迁移学习的每一阶段均带来更大的性能提升。
• 本研究首次提供了实证证据，表明在医学图像分析的迁移学习中，注意力机制的可迁移性高于卷积层。