[论文解读] Automated Model Design and Benchmarking of 3D Deep Learning Models for COVID-19 Detection with Chest CT Scans

Xin He, Shihao Wang+7 more|arXiv (Cornell University)|Jan 14, 2021

COVID-19 diagnosis using AI参考文献 40被引用 8

一句话总结

该论文提出了一种基于Gumbel Softmax的可微神经架构搜索（DNAS）框架，用于从胸部CT扫描中自动设计高效3D深度学习模型以检测COVID-19。所得到的CovidNet3D模型在准确率上优于人工设计的基线模型（例如，在COVID-CTset数据集上达到94.27%），同时参数量最多减少41倍，且类激活映射（CAM）可视化结果证实了模型对病灶相关区域的关注，具有可解释性。

ABSTRACT

The COVID-19 pandemic has spread globally for several months. Because its transmissibility and high pathogenicity seriously threaten people's lives, it is crucial to accurately and quickly detect COVID-19 infection. Many recent studies have shown that deep learning (DL) based solutions can help detect COVID-19 based on chest CT scans. However, most existing work focuses on 2D datasets, which may result in low quality models as the real CT scans are 3D images. Besides, the reported results span a broad spectrum on different datasets with a relatively unfair comparison. In this paper, we first use three state-of-the-art 3D models (ResNet3D101, DenseNet3D121, and MC3\_18) to establish the baseline performance on the three publicly available chest CT scan datasets. Then we propose a differentiable neural architecture search (DNAS) framework to automatically search for the 3D DL models for 3D chest CT scans classification with the Gumbel Softmax technique to improve the searching efficiency. We further exploit the Class Activation Mapping (CAM) technique on our models to provide the interpretability of the results. The experimental results show that our automatically searched models (CovidNet3D) outperform the baseline human-designed models on the three datasets with tens of times smaller model size and higher accuracy. Furthermore, the results also verify that CAM can be well applied in CovidNet3D for COVID-19 datasets to provide interpretability for medical diagnosis.

研究动机与目标

• 为解决使用胸部CT扫描进行COVID-19检测的3D深度学习模型缺乏公平且一致的基准评估问题。
• 通过在真实3D CT数据上开发并评估3D模型，克服2D模型的局限性。
• 利用可微神经架构搜索（DNAS）自动化设计高性能且紧凑的3D卷积神经网络架构。
• 通过集成类别激活映射（CAM）提升临床信任度，增强模型预测结果的可解释性。
• 在三个公开数据集上，基于最先进3D模型（ResNet3D101、DenseNet3D121、MC3_18）建立稳健的基线。

提出的方法

• 采用可微神经架构搜索（DNAS）框架，在三个公开的胸部CT数据集（Clean-CC-CCII、MosMedData和COVID-CTset）上搜索最优3D卷积神经网络架构。
• 使用Gumbel Softmax技术实现单个超网络的端到端训练，从而实现逐子网络的高效优化。
• 通过包含各层多个候选操作（如卷积类型、卷积核大小等）的超网络定义搜索空间。
• 最终模型命名为CovidNet3D，采用标准指标（准确率、精确率、召回率、F1分数及模型大小）进行训练与评估。
• 应用类别激活映射（CAM）可视化注意力图，验证模型是否聚焦于如磨玻璃样影等临床相关区域。
• 数据预处理包括将NIfTI文件转换为PNG格式以确保兼容性，但可能造成信息损失。

实验结果

研究问题

• RQ1 基于Gumbel Softmax的DNAS框架能否有效发现用于胸部CT扫描中COVID-19检测的紧凑且高精度的3D卷积神经网络架构？
• RQ2 在多个数据集上，自动搜索得到的CovidNet3D模型与人工设计的3D模型（ResNet3D101、DenseNet3D121、MC3_18）在准确率和模型大小方面相比如何？
• RQ3 集成类别激活映射（CAM）是否能通过突出CT扫描中与疾病相关的区域，提供具有临床意义的可解释性？
• RQ4 为何模型在MosMedData数据集上的表现劣于其他两个数据集？数据格式转换在其中起到何种影响？
• RQ5 随机种子的选择在多大程度上影响NAS生成模型的训练过程与性能表现？

主要发现

• CovidNet3D-L模型在所有三个数据集上均达到最高准确率，优于所有基线模型。
• CovidNet3D-S（8.36 MB）在COVID-CTset数据集上达到94.27%的准确率，较ResNet3D101（325.21 MB）高出0.4%，参数量减少41倍。
• DNAS框架成功发现了在不同输入尺寸、网络深度和数据集特征下均表现一致的模型。
• CAM可视化结果证实，CovidNet3D聚焦于具有磨玻璃样影的区域——这是COVID-19的关键影像生物标志物，显著增强了临床可解释性。
• MosMedData数据集上的模型性能较低，可能归因于NIfTI到PNG转换导致的信息损失以及类别不平衡问题。
• 训练过程对随机种子高度敏感，表明基于NAS的模型鲁棒性仍需进一步研究。