[论文解读] Improving Automated COVID-19 Grading with Convolutional Neural Networks in Computed Tomography Scans: An Ablation Study

Coen de Vente, Luuk Boulogne+6 more|arXiv (Cornell University)|Sep 21, 2020

COVID-19 diagnosis using AI参考文献 31被引用 7

一句话总结

本研究通过评估3D卷积神经网络（CNN）中的关键组件，包括3D架构、迁移学习、病灶图输入和连续输出预测，改进了CT扫描中自动化COVID-19分级。使用迁移学习的3D CNN在内部测试集上达到0.934的AUC，在公开数据集上达到0.923，显著优于先前的2D CNN。

ABSTRACT

Amidst the ongoing pandemic, several studies have shown that COVID-19 classification and grading using computed tomography (CT) images can be automated with convolutional neural networks (CNNs). Many of these studies focused on reporting initial results of algorithms that were assembled from commonly used components. The choice of these components was often pragmatic rather than systematic. For instance, several studies used 2D CNNs even though these might not be optimal for handling 3D CT volumes. This paper identifies a variety of components that increase the performance of CNN-based algorithms for COVID-19 grading from CT images. We investigated the effectiveness of using a 3D CNN instead of a 2D CNN, of using transfer learning to initialize the network, of providing automatically computed lesion maps as additional network input, and of predicting a continuous instead of a categorical output. A 3D CNN with these components achieved an area under the ROC curve (AUC) of 0.934 on our test set of 105 CT scans and an AUC of 0.923 on a publicly available set of 742 CT scans, a substantial improvement in comparison with a previously published 2D CNN. An ablation study demonstrated that in addition to using a 3D CNN instead of a 2D CNN transfer learning contributed the most and continuous output contributed the least to improving the model performance.

研究动机与目标

• 系统评估提升CT扫描中自动化COVID-19分级性能的深度学习关键组件。
• 比较2D与3D CNN架构在分类胸部CT体积中COVID-19表现的差异。
• 评估迁移学习、病灶图输入和连续输出预测对模型性能的影响。
• 通过在公开数据集（iCTCF）上验证模型并发布开放的大型挑战平台，实现公平的基准测试。

提出的方法

• 使用相同的内部数据集和公开的iCTCF数据集，对2D和3D CNN架构进行训练和比较，以实现公平对比。
• 通过使用ImageNet和Kinetics预训练权重初始化模型，采用迁移学习以提升特征学习能力。
• 将自动生成的病灶分割图作为额外输入通道整合到分类网络中。
• 评估分类输出（CO-RADS评分）和连续输出回归头在模型预测中的表现。
• 通过消融研究分离各组件对整体性能的贡献。
• 在包含105次扫描的内部测试集和包含742次扫描的公开外部测试集上验证模型，以评估泛化能力。

实验结果

研究问题

• RQ1 使用3D CNN而非2D CNN是否能提升从CT扫描中自动化COVID-19分级的性能？
• RQ2 从自然图像和视频数据进行迁移学习在多大程度上能提升模型性能？
• RQ3 将病灶分割图作为输入在多大程度上影响了模型的分类准确率？
• RQ4 与分类CO-RADS类别相比，预测连续输出评分会产生何种影响？
• RQ5 这些组件如何影响模型在不同数据集上的泛化能力，尤其是在切片厚度和阳性病例定义存在差异的情况下？

主要发现

• 使用迁移学习的3D CNN在内部测试集上达到0.934的AUC，在公开的iCTCF数据集上达到0.923，显著优于先前的2D CNN。
• 迁移学习对性能提升贡献最大，是所有评估组件中相对增益最大的。
• 在任一测试集上，使用病灶图作为输入均未带来统计上显著的性能提升，表明该方法的增益有限。
• 将分类输出替换为连续预测带来的性能增益最小，尽管它消除了定义离散CO-RADS阈值的需求。
• 在切片厚度大于1.5mm的扫描中观察到性能下降，尤其对3D模型更为明显，表明其对图像分辨率和重建参数敏感。
• 消融研究证实，迁移学习和3D架构始终具有显著益处，而病灶图和连续输出则仅带来微小或不显著的增益。