[论文解读] Comparative study of deep learning methods for the automatic segmentation of lung, lesion and lesion type in CT scans of COVID-19 patients

Sofie Tilborghs, Ine Dirks+20 more|arXiv (Cornell University)|Jul 29, 2020

COVID-19 diagnosis using AI被引用 14

一句话总结

本研究使用多中心数据集，系统评估了12种深度学习方法在COVID-19 CT扫描中对肺部、病灶及病灶类型的自动分割性能。集成模型显著提升了性能，平均Dice分数达到0.982（肺部）、0.724（二分类病灶）和0.469（多分类病灶），体积误差低于放射科医生的变异范围，表明该方法在病灶量化方面已具备临床应用潜力。

ABSTRACT

Recent research on COVID-19 suggests that CT imaging provides useful information to assess disease progression and assist diagnosis, in addition to help understanding the disease. There is an increasing number of studies that propose to use deep learning to provide fast and accurate quantification of COVID-19 using chest CT scans. The main tasks of interest are the automatic segmentation of lung and lung lesions in chest CT scans of confirmed or suspected COVID-19 patients. In this study, we compare twelve deep learning algorithms using a multi-center dataset, including both open-source and in-house developed algorithms. Results show that ensembling different methods can boost the overall test set performance for lung segmentation, binary lesion segmentation and multiclass lesion segmentation, resulting in mean Dice scores of 0.982, 0.724 and 0.469, respectively. The resulting binary lesions were segmented with a mean absolute volume error of 91.3 ml. In general, the task of distinguishing different lesion types was more difficult, with a mean absolute volume difference of 152 ml and mean Dice scores of 0.369 and 0.523 for consolidation and ground glass opacity, respectively. All methods perform binary lesion segmentation with an average volume error that is better than visual assessment by human raters, suggesting these methods are mature enough for a large-scale evaluation for use in clinical practice.

研究动机与目标

• 系统比较12种深度学习方法在COVID-19 CT扫描中对肺部、病灶及病灶类型分割的性能。
• 评估内部开发与公开可用的深度学习模型在多个医学中心中的鲁棒性与泛化能力。
• 确定集成方法是否能提升二分类与多分类病灶分割的准确性。
• 通过将体积误差与人类阅片者表现进行比较，评估自动化分割的临床可行性。
• 公开所有开发方法的代码，以支持可复现性与临床转化。

提出的方法

• 使用来自10家不同机构的100例CT扫描的多中心数据集，包含对肺部、二分类病灶及五种病灶类型（GGO、CON、CPP、COM、OAT）的标注。
• 采用5折交叉验证评估7种内部模型（DMLu、WASS、2DS、UNWM、2DRnx、DMmc、DMLo），并使用外部测试集评估4种公开模型（CTA、JoHof、InfNet、CovidENet）。
• 性能通过Dice相似性系数（DSC）、95%百分位数的豪斯多夫距离（HD95）、平均表面差（ASD）和平均体积差（AVD）进行评估。
• 通过多数投票法应用集成方法，结合多个模型的预测结果，从而在所有分割任务中提升鲁棒性与性能。
• 测试集与训练数据相互独立，病例来自不同中心并使用不同的标注工具，以确保泛化能力并避免数据泄露。
• 所有模型均在整体病灶体积预测方面进行评估，并将结果与先前研究中人类阅片者变异范围进行比较。

实验结果

研究问题

• RQ1 在多中心COVID-19 CT扫描中，不同深度学习模型在肺部、二分类病灶及多分类病灶类型分割中的表现如何？
• RQ2 集成多个深度学习模型是否能提升在不同病灶类型与任务中的分割性能？
• RQ3 自动化分割方法的体积误差与临床实践中放射科医生的误差相比如何？
• RQ4 公开模型与内部开发模型在不同影像中心与扫描协议下的泛化能力如何？
• RQ5 模型预测在评估疾病严重程度与进展方面，对临床决策的支持程度如何？

主要发现

• 集成深度学习模型后，肺部分割的平均Dice分数提升至0.982，二分类病灶分割为0.724，多分类病灶分割为0.469。
• 二分类病灶分割的平均体积差（AVD）为91.3 ml，低于先前研究中人类阅片者变异范围的122 ml阈值。
• 在多分类分割中，实变（CON）的AVD最低，为4.87 ml，而磨玻璃样模式（CPP）为37.0 ml，磨玻璃样变（GGO）的AVD为122 ml（UNWM方法）。
• 磨玻璃样变（GGO）的平均Dice分数为0.369，实变（CON）为0.523，表明区分这两种病灶类型更具挑战性。
• 所有自动化方法的体积误差均低于人类阅片者，表明其已具备足够的成熟度，可用于大规模临床评估。
• 所有12种模型（包括内部与公开实现）的代码将公开发布，以支持可复现性与临床整合。