[论文解读] AbdomenCT-1K: Is Abdominal Organ Segmentation A Solved Problem?

Jun Ma, Yao Zhang+15 more|arXiv (Cornell University)|Oct 28, 2020

COVID-19 diagnosis using AI参考文献 101被引用 14

一句话总结

本文介绍了AbdomenCT-1K，这是一个大规模、多样化的腹部CT数据集，包含来自12家医疗中心的1,000例扫描，涵盖多期相、多厂商及多疾病类型。尽管现有基准上表现达到最先进（SOTA）水平，但本研究发现SOTA方法在不同临床环境中的泛化能力有限，因此提出了四个新基准——全监督、半监督、弱监督和持续学习——并提供了强大的即插即用基线模型，以应对真实临床环境中的挑战。

ABSTRACT

With the unprecedented developments in deep learning, automatic segmentation of main abdominal organs seems to be a solved problem as state-of-the-art (SOTA) methods have achieved comparable results with inter-rater variability on many benchmark datasets. However, most of the existing abdominal datasets only contain single-center, single-phase, single-vendor, or single-disease cases, and it is unclear whether the excellent performance can generalize on diverse datasets. This paper presents a large and diverse abdominal CT organ segmentation dataset, termed AbdomenCT-1K, with more than 1000 (1K) CT scans from 12 medical centers, including multi-phase, multi-vendor, and multi-disease cases. Furthermore, we conduct a large-scale study for liver, kidney, spleen, and pancreas segmentation and reveal the unsolved segmentation problems of the SOTA methods, such as the limited generalization ability on distinct medical centers, phases, and unseen diseases. To advance the unsolved problems, we further build four organ segmentation benchmarks for fully supervised, semi-supervised, weakly supervised, and continual learning, which are currently challenging and active research topics. Accordingly, we develop a simple and effective method for each benchmark, which can be used as out-of-the-box methods and strong baselines. We believe the AbdomenCT-1K dataset will promote future in-depth research towards clinical applicable abdominal organ segmentation methods. The datasets, codes, and trained models are publicly available at https://github.com/JunMa11/AbdomenCT-1K.

研究动机与目标

• 调查当前最先进的（SOTA）腹部器官分割深度学习方法在不同扫描仪、期相和疾病类型等多样化临床环境中的泛化能力。
• 解决缺乏大规模、多样化公共数据集的问题，以反映腹部CT影像中真实世界的临床变异性。
• 开发并验证针对标注高效且鲁棒的分割新基准，包括半监督、弱监督和持续学习设置。
• 为每个新基准提供强大、即插即用的基线方法，以加速临床可应用分割系统的研究。

提出的方法

• 从12家医疗中心收集并整理了1,000例腹部CT扫描，涵盖多个厂商、期相（动脉期、门静脉期、延迟期）及疾病类型，包括罕见和严重病理。
• 构建了四个不同的分割基准：全监督、半监督、弱监督和持续学习，每个基准的测试集均来自多样化的中心和扫描仪。
• 设计了评估协议，强调基于区域的（Dice相似系数，DSC）和基于边界的（Hausdorff距离，NSD）指标，以捕捉临床相关性。
• 通过数据增强、课程学习和伪标签策略，为每个基准开发了简单但有效的基线模型，以应对标签稀缺和领域偏移问题。
• 整合了50个额外病例，包含8个额外器官（如主动脉、胆囊、肾上腺）及663个伪标签肿瘤，以支持病灶级分割研究。
• 使用50例病例的统一测试集（NJU数据集）以确保四个基准之间公平、直接的比较。

实验结果

研究问题

• RQ1 最先进的（SOTA）腹部器官分割模型能否有效泛化到训练过程中未见的多中心、多期相、多厂商及多疾病CT扫描？
• RQ2 当在具有挑战性、多样化且临床真实的测试分布上评估时，当前SOTA方法的表现如何，超出标准基准？
• RQ3 在真实世界数据约束下，全监督、半监督、弱监督和持续学习方法在腹部器官分割中的相对性能和权衡如何？
• RQ4 边界相关指标（如NSD）在手术规划背景下是否揭示了区域指标（如DSC）未捕捉到的局限性？
• RQ5 能否为新兴的、临床相关的基准（如半监督和持续学习分割）开发简单而有效的基线模型？

主要发现

• SOTA方法在标准基准上取得高DSC（>95%），但在AbdomenCT-1K的多样化、多中心和多疾病病例上测试时，性能显著下降（如DSC降低、NSD升高）。
• 仅使用41个标注样本和800个未标注样本的半监督方法，性能几乎与使用361个标注样本的全监督方法相当，展现出强大的数据效率。
• 弱监督方法性能最低，但所需标注工作量最少，凸显了准确率与标注成本之间的权衡。
• 在持续学习中，模型表现出灾难性遗忘，当接触到新数据分布时，先前学习任务的性能出现下降，尤其在胰腺分割中更为明显。
• 肝脏分割表现出最一致的性能，DSC和NSD分布紧凑；而胰腺分割得分较低，边界误差更高，归因于病理异质性。
• 统一测试集表明，全监督方法在平均DSC和NSD上表现最佳，但半监督方法在性能与标注效率之间提供了良好平衡。