[论文解读] A hybrid deep learning framework for Covid-19 detection via 3D Chest CT Images

Shuang Liang|arXiv (Cornell University)|Jul 8, 2021

COVID-19 diagnosis using AI参考文献 16被引用 4

一句话总结

该论文提出CTNet，一种结合3D卷积神经网络与自注意力机制的混合深度学习框架，通过变换器模型从胸部CT扫描中检测COVID-19。通过引入一种保持病灶连续性并减小输入尺寸的数据重采样策略，CTNet在COV19-CT-DB验证集上实现了88.23%的宏平均F1分数——比基线高出18.23个百分点，同时保持了每例380毫秒的快速推理速度。

ABSTRACT

In this paper, we present a hybrid deep learning framework named CTNet which combines convolutional neural network and transformer together for the detection of COVID-19 via 3D chest CT images. It consists of a CNN feature extractor module with SE attention to extract sufficient features from CT scans, together with a transformer model to model the discriminative features of the 3D CT scans. Compared to previous works, CTNet provides an effective and efficient method to perform COVID-19 diagnosis via 3D CT scans with data resampling strategy. Advanced results on a large and public benchmarks, COV19-CT-DB database was achieved by the proposed CTNet, over the state-of-the-art baseline approachproposed together with the dataset.

研究动机与目标

• 为解决因大体积输入导致的3D CT扫描COVID-19检测中计算成本高和训练不稳定的问题。
• 通过提出一种新颖的数据重采样策略，在不损失具有判别性的病灶特征的前提下，减小3D CT扫描的尺寸。
• 通过结合CNN进行局部特征提取与Transformer进行长距离依赖建模，提升诊断性能。
• 开发一种高效、端到端可训练的框架，适用于计算资源有限的临床部署。
• 在公共COV19-CT-DB数据集上，相较于现有最先进方法，在准确率和推理速度两方面均实现超越。

提出的方法

• 提出一种数据重采样策略，从每例3D扫描中均匀采样固定数量的CT切片（设定为32张），在减小输入尺寸的同时保持病灶连续性。
• 输入模块采用基于总扫描切片数与期望重采样数量（renumCT）的混合重采样-过采样方法对CT扫描进行重采样。
• 采用带有挤压-激励（SE）注意力模块的3D CNN特征提取器，通过重新校准通道特征响应，增强特征判别能力。
• 提取的特征被展平后输入至两个并行分支：基于Transformer的信息聚合模块与全连接（FC）分支。
• 在最终分类前，通过元素级加法（EWA）将Transformer分支与FC分支的特征进行融合，使用Softmax层进行分类。
• 模型在两块1080Ti GPU上使用随机梯度下降进行端到端训练，学习率采用阶梯衰减策略。

实验结果

研究问题

• RQ1 所提出的重采样策略是否能有效降低3D CT扫描COVID-19检测的计算负担，同时保持临床相关特征？
• RQ2 将基于CNN的局部特征提取与基于Transformer的全局上下文建模相结合，是否能提升3D CT扫描上的诊断性能？
• RQ3 所提出的混合CTNet框架在宏平均F1分数与推理速度方面，相较于现有最先进方法表现如何？
• RQ4 该框架在多大程度上减少了对完整体积CT处理的需求，从而实现更快、更高效的临床部署？
• RQ5 该模型是否对可变输入尺寸具有鲁棒性，并具备在来自多个医院的多样化3D CT扫描中泛化的能力？

主要发现

• 所提出的重采样策略成功将输入尺寸从最多700张切片减少至32张，同时保持了诊断相关性。
• CTNet在COV19-CT-DB验证集上实现了88.23%的宏平均F1分数，较基线方法提升18.23个百分点。
• CTNet的仅FC分支在宏平均F1分数上达到87.96%，表明即使不融合Transformer，也具备强大性能。
• 完整CTNet（融合）模型优于基线方法与仅FC分支变体，证实了基于Transformer的特征聚合的有效性。
• 每例的推理时间仅为380毫秒，表明其在实时临床应用中具有极强的实际可行性。
• 消融研究证实，重采样与混合架构的结合可在降低计算需求的同时实现更优性能。