[论文解读] Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model

Yizhe Zhang, Tao Zhou+3 more|arXiv (Cornell University)|Apr 22, 2023

Advanced Neural Network Applications被引用 10

一句话总结

SAMAug 通过 SAM 派生的分割与边界先验来增强医学影像输入，从而提升下游分割模型，在不重新训练 SAM 的情况下，在息肉、细胞和腺体分割任务上均显示出增益。

ABSTRACT

The Segment Anything Model (SAM) is a recently developed large model for general-purpose segmentation for computer vision tasks. SAM was trained using 11 million images with over 1 billion masks and can produce segmentation results for a wide range of objects in natural scene images. SAM can be viewed as a general perception model for segmentation (partitioning images into semantically meaningful regions). Thus, how to utilize such a large foundation model for medical image segmentation is an emerging research target. This paper shows that although SAM does not immediately give high-quality segmentation for medical image data, its generated masks, features, and stability scores are useful for building and training better medical image segmentation models. In particular, we demonstrate how to use SAM to augment image input for commonly-used medical image segmentation models (e.g., U-Net). Experiments on three segmentation tasks show the effectiveness of our proposed SAMAug method. The code is available at \url{https://github.com/yizhezhang2000/SAMAug}.

研究动机与目标

• 激发研究动机：将 SAM 作为分割基础模型，如何为医学影像分割任务提供有用的先验。
• 提出 SAMAug，一种简单的输入增强方法，将 SAM 输出与原始医学影像融合。
• 展示 SAMAug 在三种医学影像任务中对 CNN 与 Transformer 分割模型的有效性。
• 提供在临床环境中对 SAMAug 的部署考虑与潜在扩展。

提出的方法

• 使用网格提示从 SAM 计算分割先验和边界先验图。
• 通过将先验图作为输入图像的附加通道来创建 SAMAug。
• 在增强数据集上使用简单的损失训练标准医学分割模型；可选地将来自原始输入和增强输入的损失进行结合。
• 推断阶段，可选地对原始输入和 SAMAug 增强输入的输出进行集成，或通过基于信息熵的准则选择更确定的预测。

Figure 1: Input augmentation with SAM for boosting medical image segmentation.

实验结果

研究问题

• RQ1 当用作输入增强时，基于 SAM 的先验和边界图是否能提升下游医学分割模型的性能？
• RQ2 SAMAug 的改进是否能在息肉、细胞和腺体分割基准上普遍适用？
• RQ3 在推断阶段，哪种部署策略（集成 vs. 通过确定性选择）能最好地利用 SAMAug？

主要发现

模型	SAMAug	AJI	F-score
Swin-UNet	✗	61.66	80.57
Swin-UNet	✓	64.30	82.36
U-Net	✗	58.36	75.70
U-Net	✓	63.98	82.56
P-Net	✗	59.46	77.09
P-Net	✓	63.15	81.49
Attention UNet	✗	58.76	75.43
Attention UNet	✓	63.15	81.49
—	—	—	—
—	—	—	—

• SAMAug 在息肉数据集上对多种架构提升了分割性能，尤其是在 CVC-ClinicDB 和 CVC-ColonDB 上。
• 在 MoNuSeg 上，SAMAug 为 Swin-UNet、U-Net、P-Net 和 Attention U-Net 提升了 AJI 和 F-score，并给出量化增益。
• 在 GlaS 腺体分割中，使用 SAMAug 的 U-Net 比未使用 SAMAug 的 F-score 和 Object Dice 更高。
• 在多个数据集上，SAMAug 提供了语义上有意义的先验，帮助下游模型超越基线的 CNN/Transformer 分割性能。
• 推断时的策略（集成或基于熵的选择）可以同时利用原始输入和增强输入以提高鲁棒性。

Figure 2: Visual examples of a raw input image, its segmentation prior map by SAM, boundary prior map by SAM, and SAM-augmented image input (illustrated in Fig. 1 ). The image sample is from the MonuSeg dataset [ 12 ] .