[论文解读] When SAM Meets Medical Images: An Investigation of Segment Anything Model (SAM) on Multi-phase Liver Tumor Segmentation

Chuanfei Hu, Xia, Tianyi+2 more|arXiv (Cornell University)|Apr 17, 2023

Machine Learning and Data Classification被引用 37

一句话总结

该论文评估 Segment Anything Model (SAM) 在多阶段肝肿瘤分割中的表现，显示 SAM 在不同提示、分辨率和阶段聚合设置下的分割性能有限，相较于 U-Net，但强调 SAM 作为强大的交互式注释工具的潜力。

ABSTRACT

Learning to segmentation without large-scale samples is an inherent capability of human. Recently, Segment Anything Model (SAM) performs the significant zero-shot image segmentation, attracting considerable attention from the computer vision community. Here, we investigate the capability of SAM for medical image analysis, especially for multi-phase liver tumor segmentation (MPLiTS), in terms of prompts, data resolution, phases. Experimental results demonstrate that there might be a large gap between SAM and expected performance. Fortunately, the qualitative results show that SAM is a powerful annotation tool for the community of interactive medical image segmentation.

研究动机与目标

• 评估 SAM 在多阶段肝 CT 数据（MPLiTS）上的零-shot 分割能力。
• 调查提示、数据分辨率和多阶段聚合如何影响 SAM 的性能。
• 将 SAM 的变体（ViT-B、ViT-L、ViT-H）与常规 U-Net 基线进行比较。
• 提供在 MPLiTS 中高效交互式注释的 SAM 使用指南。

提出的方法

• 使用内部 MPLiTS 数据集，包含 388 名患者和 1552 个多阶段 CECT 体积（NC、ART、PV、DE）。
• 在不同提示 P 和分辨率 R 下，跨两个阶段聚合模式 M（avg、max）评估 SAM 变体（ViT-B、ViT-L、ViT-H）。
• 计算 Dice global score (DGS) 作为按切片的分割准确度指标。
• 从 SAM 输出中选取最佳肿瘤掩模以获得多阶段结果。
• 将 SAM 结果与 U-Net 基线进行比较，以评估性能差距。
• 展示结果的定性可视化，以说明注释工具的实用性。

实验结果

研究问题

• RQ1 提示点数 (P) 的数量如何影响 SAM 在 MPLiTS 上的分割准确度？
• RQ2 图像分辨率 (R) 对 SAM 在多阶段肝肿瘤分割中的性能有何影响？
• RQ3 不同的阶段聚合策略（avg vs max）是否改善 SAM 的多阶段分割结果？
• RQ4 SAM 与 MPLiTS 的 U-Net 基线相比如何，SAM 能否作为医疗影像分割的注释工具高效使用？

主要发现

• 增加提示点数 P 往往提升 SAM 的性能。
• 更大图像分辨率 R 并不始终提升 SAM 性能，在某些设置下可能降低。
• 最大聚合（max）在配置中通常比 avg 获得更好结果，但与少量提示下的 U-Net 相比仍存在较大差距。
• 在充分的人类引导下（例如 P = 20），SAM 作为注释工具显示出强大潜力，即使原始分割性能落后于专门模型。
• 总体而言，SAM 尚未达到预期的 MPLiTS 性能，但在高效交互式注释方面仍然有价值。