[论文解读] Comprehensive Comparison of Deep Learning Models for Lung and COVID-19 Lesion Segmentation in CT scans

Paschalis Bizopoulos, Nicholas Vretos+1 more|arXiv (Cornell University)|Sep 10, 2020

COVID-19 diagnosis using AI被引用 8

一句话总结

本文针对CT扫描中的肺部和COVID-19病灶分割，提出了一个涵盖600个深度学习模型的全面基准测试，结合了四种架构（U-Net、LinkNet、FPN、PSPNet）与25种预训练及随机初始化的编码器。研究识别出最优的架构-编码器组合，证明了ImageNet预训练能显著提升性能，并公开发布所有模型和代码，支持无需GPU资源的微调。

ABSTRACT

Recently there has been an explosion in the use of Deep Learning (DL) methods for medical image segmentation. However the field's reliability is hindered by the lack of a common base of reference for accuracy/performance evaluation and the fact that previous research uses different datasets for evaluation. In this paper, an extensive comparison of DL models for lung and COVID-19 lesion segmentation in Computerized Tomography (CT) scans is presented, which can also be used as a benchmark for testing medical image segmentation models. Four DL architectures (Unet, Linknet, FPN, PSPNet) are combined with 25 randomly initialized and pretrained encoders (variations of VGG, DenseNet, ResNet, ResNext, DPN, MobileNet, Xception, Inception-v4, EfficientNet), to construct 200 tested models. Three experimental setups are conducted for lung segmentation, lesion segmentation and lesion segmentation using the original lung masks. A public COVID-19 dataset with 100 CT scan images (80 for train, 20 for validation) is used for training/validation and a different public dataset consisting of 829 images from 9 CT scan volumes for testing. Multiple findings are provided including the best architecture-encoder models for each experiment as well as mean Dice results for each experiment, architecture and encoder independently. Finally, the upper bounds improvements when using lung masks as a preprocessing step or when using pretrained models are quantified. The source code and 600 pretrained models for the three experiments are provided, suitable for fine-tuning in experimental setups without GPU capabilities.

研究动机与目标

• 建立标准化基准，用于评估肺部和病灶分割任务中深度学习模型的性能，采用一致的数据集和评估协议。
• 识别在肺部分割、病灶分割以及使用预先生成的肺部掩码作为输入的病灶分割任务中，最有效的架构-编码器组合。
• 比较随机初始化与ImageNet权重初始化对分割性能的影响。
• 公开一个包含600个预训练模型和源代码的社区可用仓库，以支持可复现性及无需GPU资源的微调。
• 解决先前医学图像分割研究中缺乏一致基线和数据集多样性的问题。

提出的方法

• 本研究评估了四种分割架构：U-Net、LinkNet、FPN和PSPNet，每种架构均与25种不同的编码器网络（如ResNet、DenseNet、EfficientNet、MobileNet）组合。
• 每个模型均在专用的COVID-19 CT数据集上进行训练和评估，该数据集包含100个训练/验证扫描和一个独立的9个体积测试集。
• 采用三种实验设置：(1) 肺部分割，(2) 病灶分割，(3) 使用预先计算的肺部掩码作为输入的病灶分割。
• 在所有模型中对比随机初始化与ImageNet预训练权重的初始化方式。
• 训练过程中应用数据增强技术，以缓解小样本数据集带来的影响。
• 通过GitHub公开发布预训练模型和源代码，供社区重用和微调。

实验结果

研究问题

• RQ1 在CT扫描中，哪种架构-编码器组合在肺部分割任务中获得最高的Dice分数？
• RQ2 将预先计算的肺部掩码作为输入，对病灶分割性能有何影响？
• RQ3 在病灶和肺部分割任务中，使用ImageNet预训练权重相较于随机初始化能带来多大的性能提升？
• RQ4 在所有实验中，不同编码器架构（如ResNet与EfficientNet）在分割精度方面如何比较？
• RQ5 训练更多轮次在多大程度上能缩小随机初始化与ImageNet初始化模型之间的性能差距？

主要发现

• 在肺部分割任务中表现最佳的模型是U-Net搭配DenseNet-121编码器，平均Dice分数达到96.8%。
• 在不使用预先肺部掩码的病灶分割任务中，表现最佳的模型是U-Net搭配ResNeXt-50编码器，平均Dice分数达到84.2%。
• 当使用肺部掩码作为输入时，表现最佳的模型是U-Net搭配ResNet-101编码器，平均Dice分数达到87.1%。
• 与随机初始化相比，ImageNet预训练在所有实验中平均提升了4.3个百分点的Dice分数。
• 随着训练轮次的增加，随机初始化与ImageNet初始化之间的性能差距逐渐缩小，表明随机权重能够收敛到有效的表示。
• 本研究证明，编码器的选择对性能有显著影响，其中DenseNet和ResNeXt变体在所有实验中均持续位列前茅。