[论文解读] Segment anything model 2: an application to 2D and 3D medical images
本研究在21个医学数据集上评估 SAM 2,用于 2D 单帧和 3D 多帧分割,研究提示与传播策略,比较 SAM 与 SAM-Med3D,并提供用于 3D 体积的交互式提示方法。
Segment Anything Model (SAM) has gained significant attention because of its ability to segment various objects in images given a prompt. The recently developed SAM 2 has extended this ability to video inputs. This opens an opportunity to apply SAM to 3D images, one of the fundamental tasks in the medical imaging field. In this paper, we extensively evaluate SAM 2's ability to segment both 2D and 3D medical images by first collecting 21 medical imaging datasets, including surgical videos, common 3D modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET) as well as 2D modalities such as X-ray and ultrasound. Two evaluation settings of SAM 2 are considered: (1) multi-frame 3D segmentation, where prompts are provided to one or multiple slice(s) selected from the volume, and (2) single-frame 2D segmentation, where prompts are provided to each slice. The former only applies to videos and 3D modalities, while the latter applies to all datasets. Our results show that SAM 2 exhibits similar performance as SAM under single-frame 2D segmentation, and has variable performance under multi-frame 3D segmentation depending on the choices of slices to annotate, the direction of the propagation, the predictions utilized during the propagation, etc. We believe our work enhances the understanding of SAM 2's behavior in the medical field and provides directions for future work in adapting SAM 2 to this domain. Our code is available at: https://github.com/mazurowski-lab/segment-anything2-medical-evaluation.
研究动机与目标
- 评估 SAM 2 在使用单帧提示的多样化 2D 医学图像上的分割性能。
- 通过将切片视为帧并在体积中探索传播策略,评估 SAM 2 的 3D 分割能力。
- 分析提示模式、帧选择和传播方向如何影响 3D 分割的准确性。
- 将 SAM 2 与 SAM 和 SAM-Med3D 进行比较,以确立在医学影像任务中的相对优势。
提出的方法
- 在 21 个数据集(MRI、CT、PET、X-ray、超声以及视频)中评估两种设置:二维单帧分割和三维多帧分割。
- 使用四种 2D 提示模式(点和框,最多三个提示)以及一个地面真实掩模提示来模拟用户输入。
- 对于多帧 3D 分割,测试四种帧模式、四种提示模式(再加 GT 提示)、两种传播方向(前向到后向与双向)以及两种掩模选择策略,产生 64 种配置。
- 在 SAM 2 中扩展记忆库概念(记忆注意力模块和记忆编码器),以在不依赖提示的情况下跨切片传播预测。
- 将 SAM 2 与 SAM-Med3D 进行比较并分析记忆、传播和提示对 3D 医学体积的影响。
- 给出两种交互式提示算法(基于纠错和基于重新初始化)以离线方式跨体积 refined 结果。

实验结果
研究问题
- RQ1SAM 2 在单帧 2D 医学图像分割上的表现与 SAM 相比如何?
- RQ2在跨切片传播、有提示与无提示的情况下,SAM 2 在多帧 3D 医学图像分割中的效果如何?
- RQ3帧选择、提示模式、基于记忆的传播以及预测掩模选择对 3D 分割性能有哪些影响?
- RQ4将 SAM 2 适配到 3D 医学影像时,是否与 SAM-Med3D 具有竞争力或优越性?
- RQ5在离线的 3D 医学体积上,交互式提示策略是否能提升分割?
主要发现
- SAM 2 在单帧 2D 分割上,与 SAM 的性能相当,且框提示通常优于点提示。
- 在多帧 3D 分割中,双向传播相对于前向传播的一致性提高 IoU,尤其是在从非边缘切片开始时。
- 对于点提示,选择第一个预测通道可能优于最有信心的通道;而对于框提示或 GT 提示,情况相反。
- 在单帧 2D 与多帧 3D 设置之间存在性能差距;在标注少量切片时,框提示可以将差距降至最小。
- SAM 2 通常优于对 23 个 3D 医学任务进行微调的 SAM-Med3D,这可能是因为传播保留的输入分辨率更高(1024x1024),而 Med3D 中存在积极的下采样。
- 交互式提示策略可以带来温和到显著的提升,GT 提示在逐切片上提供强烈改进;在某些配置中,基于纠错的提示相较于基于重新初始化的方法具有优势。
- 在各种设置中,注释切片数量的增加带来递减收益,均匀采样或针对具有挑战性的切片并不总是带来显著提升。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。