[论文解读] Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

Junde Wu, Ji, Wei+5 more|arXiv (Cornell University)|Apr 25, 2023

Radiomics and Machine Learning in Medical Imaging被引用 222

一句话总结

本论文引入 Med-SA，是对 SAM 的一种参数高效适配，用于医学图像分割，利用 SD-Trans 实现 2D-to-3D，及 HyP-Adpt 进行基于提示的适配，在仅更新约 2% 参数的情况下，在 17 项任务上取得最先进结果。

ABSTRACT

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation due to its impressive capabilities in various segmentation tasks and its prompt-based interface. However, recent studies and individual experiments have shown that SAM underperforms in medical image segmentation, since the lack of the medical specific knowledge. This raises the question of how to enhance SAM's segmentation capability for medical images. In this paper, instead of fine-tuning the SAM model, we propose the Medical SAM Adapter (Med-SA), which incorporates domain-specific medical knowledge into the segmentation model using a light yet effective adaptation technique. In Med-SA, we propose Space-Depth Transpose (SD-Trans) to adapt 2D SAM to 3D medical images and Hyper-Prompting Adapter (HyP-Adpt) to achieve prompt-conditioned adaptation. We conduct comprehensive evaluation experiments on 17 medical image segmentation tasks across various image modalities. Med-SA outperforms several state-of-the-art (SOTA) medical image segmentation methods, while updating only 2\% of the parameters. Our code is released at https://github.com/KidsWithTokens/Medical-SAM-Adapter.

研究动机与目标

• 通过在不进行完整微调的情况下，结合医学领域知识，激励提升 SAM 在医学图像上的性能。
• 开发一个轻量级的适配框架（Med-SA），包括（i）SD-Trans 以实现 2D-to-3D 适配，和（ii）HyP-Adpt 用于基于提示的条件适配。
• 在覆盖多模态的 17 个医学分割任务上评估 Med-SA，并与 SAM、MedSAM 及 SOTA 方法进行比较。
• 证明仅更新约 2% 的 SAM 参数即可实现显著提升。

提出的方法

• 通过在 SAM 的编码器和解码器中插入 Adapter 模块，实施基于适配的参数高效微调。
• 通过分割注意力分支对空间和深度维进行处理，以捕捉 3D 上下文信息。
• 提出 Hyper-Prompting Adapter (HyP-Adpt)，从视觉提示生成提示条件的适配权重，使在较少附加参数下实现广泛且深层的提示自适应。
• 对 2D 医学图像使用标准的 SAM 适配器进行处理；利用 SD-Trans 将其扩展到 3D 体积；在解码器中通过 HyP-Adpt 将提示信息融入。
• 使用随机和迭代采样来模拟用户交互，利用交互式提示（点和边界框）进行训练。

实验结果

研究问题

• RQ1 一种轻量级的、基于适配器的方法是否能在不进行全面微调的情况下将 SAM 适配到医学领域？
• RQ2 在 SAM 框架内，SD-Trans 是否实现了有效的 2D-to-3D 分割？
• RQ3 HyP-Adpt 是否能在最小的参数开销下提供基于提示的适配？
• RQ4 与 SAM、MedSAM 以及特定SOTA方法相比，Med-SA 在多种医学成像模态和任务上的表现如何？

主要发现

• Med-SA 在 17 项医学分割任务中达到最先进的性能，优于 SAM 和完全微调的 MedSAM，同时仅更新约 2% 的 SAM 参数。
• 在 BTCV 腹部多器官分割中，Med-SA 使用 1 点提示已超越先前方法，使用 BBox 0.75 时 Dice 高达 89.8%，比 Swin-UNetr 高出 2.9%。
• Med-SA 在多模态（CT、MRI、超声、眼底、皮肤镜等）上超越 MedSAM 及若干领域特定的 SOTA 方法（如 nnUNet、TransUNet、UNetr、Swin-UNetr）。
• SD-Trans 与 HyP-Adpt 的消融实验显示 2D-to-3D 设计在 BTCV 与 BrainTumor 基准测试上显著提高性能，且 HyP-Adpt 相较于简单地添加/连接提示嵌入提供了实质性提升。
• Med-SA 在多模态数据集（REFUGE2、BraTs、TNMIX、ISIC）上展示出较强的泛化能力，并在各任务上取得持续的增益。