[论文解读] AMOS: A Large-Scale Abdominal Multi-Organ Benchmark for Versatile Medical Image Segmentation

Yuanfeng Ji, Haotian Bai+9 more|arXiv (Cornell University)|Jun 16, 2022

Radiomics and Machine Learning in Medical Imaging被引用 199

一句话总结

AMOS 提供一个大规模、多样化的腹部 CT/MRI 数据集，具备对 15 个器官的体素级标注，支持鲁棒的多器官分割与跨域评估。它基准化了当前方法，并展示该数据集在 OOD 泛化、跨模态学习和迁移学习方面的潜在用途。

ABSTRACT

Despite the considerable progress in automatic abdominal multi-organ segmentation from CT/MRI scans in recent years, a comprehensive evaluation of the models' capabilities is hampered by the lack of a large-scale benchmark from diverse clinical scenarios. Constraint by the high cost of collecting and labeling 3D medical data, most of the deep learning models to date are driven by datasets with a limited number of organs of interest or samples, which still limits the power of modern deep models and makes it difficult to provide a fully comprehensive and fair estimate of various methods. To mitigate the limitations, we present AMOS, a large-scale, diverse, clinical dataset for abdominal organ segmentation. AMOS provides 500 CT and 100 MRI scans collected from multi-center, multi-vendor, multi-modality, multi-phase, multi-disease patients, each with voxel-level annotations of 15 abdominal organs, providing challenging examples and test-bed for studying robust segmentation algorithms under diverse targets and scenarios. We further benchmark several state-of-the-art medical segmentation models to evaluate the status of the existing methods on this new challenging dataset. We have made our datasets, benchmark servers, and baselines publicly available, and hope to inspire future research. Information can be found at https://amos22.grand-challenge.org.

研究动机与目标

• 解决反映实际临床变异性的大规模、 Diverse abdominal segmentation 基准缺乏的问题。
• 提供一个多模态（CT 和 MRI）、多中心、多扫描仪、多阶段、多疾病的密集器官标注数据集。
• 对 AMOS 上的最先进分割模型进行基准测试，以评估当前的局限性和鲁棒性。
• 展示 AMOS 在分割之外任务的多样性潜力，包括 OOD 泛化、跨模态学习和迁移学习。

提出的方法

• 从两个临床中心和多台扫描仪中 curate 一个大规模、多样化的腹部数据集（CT 和 MRI），对 15 个器官进行体素级标注。
• 采用半自动标注工作流：先由预训练分割器给出粗标注，随后由初级和高级放射科医生迭代改进以确保质量。
• 定义包含 ID（同分布）和 OOD（异分布）评估的数据切分，以衡量跨扫描仪的领域鲁棒性。
• 在 AMOS-CT 和 AMOS-MRI 上基准六种基线方法（CNN、Transformer 及混合方法），采用标准指标（Dice 和 NSD），并报告模型效率（参数量和 FLOPs）。
• 探索 AMOS 支持的扩展任务，包括跨模态学习、迁移学习以及隐私保护/联邦学习场景。
• 公开提供数据集、基准服务器和基线，促进社区研究。

实验结果

研究问题

• RQ1 在 CT 与 MRI 两种模态下，拥有 15 个器官的大规模多器官腹部分割数据集上，最先进的方法表现如何？
• RQ2 领域移位（不同扫描仪/厂商）对分割性能有何影响，AMOS 是否能够支持鲁棒的 OOD 泛化研究？
• RQ3 跨模态训练（CT 与 MRI）是否能提升每种模态的分割性能？
• RQ4 在 AMOS 上的预训练表征是否对外部腹部分割任务具有可迁移的好处（迁移学习）？
• RQ5 数据多样性和标注质量对模型学习在 AMOS 上的含义是什么？

主要发现

• AMOS 包含 600 例扫描（500 例 CT、100 例 MRI），覆盖 15 个腹部器官，拥有 74,026 个标注切片，是迄今为止最大的、最具多样性的腹部分割基准。
• 基线实验表明，简单的 UNet 风格模型在 AMOS 上可以超过若干新架构，而基于 Transformer 的方法在此数据集设置下并不始终优于基于 CNN 的模型。
• 同分布（ID）与异分布（OOD）测试数据之间存在显著的性能差异，尤其是 AMOS-MRI，凸显了跨扫描仪的领域移位挑战。
• 跨模态学习（CT+MRI 联合训练）相较于单模态训练带来稳定的提升，表明 CT 与 MRI 之间的互补信息提升了分割性能。
• 在 AMOS 上的预训练对相关腹部分割任务具有可迁移的收益，虽受目标域和模态的影响而异。
• AMOS 能提供对泛化、跨模态学习和迁移学习的鲁棒评估，凸显其作为现实世界临床场景多用途基准的潜力。