[论文解读] Learnable Ophthalmology SAM

Zhongxi Qiu, Yan Hu+2 more|arXiv (Cornell University)|Apr 26, 2023

Retinal Imaging and Analysis被引用 12

一句话总结

本文提出一个可学习的提示层用于 Segment Anything (SAM)，通过冻结骨干网络并训练一个任务特定的提示与头部，实现一次性、跨模态的眼科图像分割。它在多个眼科任务和数据集上展示了改进的分割效果，且具有较强的泛化能力。

ABSTRACT

Segmentation is vital for ophthalmology image analysis. But its various modal images hinder most of the existing segmentation algorithms applications, as they rely on training based on a large number of labels or hold weak generalization ability. Based on Segment Anything (SAM), we propose a simple but effective learnable prompt layer suitable for multiple target segmentation in ophthalmology multi-modal images, named Learnable Ophthalmology Segment Anything (SAM). The learnable prompt layer learns medical prior knowledge from each transformer layer. During training, we only train the prompt layer and task head based on a one-shot mechanism. We demonstrate the effectiveness of our thought based on four medical segmentation tasks based on nine publicly available datasets. Moreover, we only provide a new improvement thought for applying the existing fundamental CV models in the medical field. Our codes are available at \href{https://github.com/Qsingle/LearnablePromptSAM}{website}.

研究动机与目标

• 由于多模态成像和有限标签，激发眼科分割的研究.
• 提出一个可学习的提示层，插入在 SAM 的 transformer 块之间，以注入医学先验知识。
• 通过仅训练提示层和任务头部来实现一次性微调。
• 在多个任务（血管、病变、视网膜层）和数据集上展示有效性。
• 通过跨数据集的零-shot 实验评估泛化能力。

提出的方法

• 在冻结 SAM 骨干的同时，在每个 transformer 块之间插入一个可学习的提示层。
• 使用两个带 LayerNorm 和 GELU 的 1x1 卷积，以及一个深度卷积 3x3，来构成每个 Prompt_i。
• Compute prompts from the i-th transformer's input features as Prompt_i = delta(LN(W1(delta(LN(DW3(delta(LN(W1(fi)))))))).

实验结果

研究问题

• RQ1 可学习的提示层在无需完全微调的情况下，使 SAM 能够跨多模态图像对眼科特定目标进行分割吗？
• RQ2 所提的提示能否学习出在跨数据集和模态之间具有普遍性的医学先验？
• RQ3 在医学分割中，提示和头部的一次性训练与完全微调或仅头部微调相比效果如何？
• RQ4 该方法在血管、病变和视网膜层分割任务上的性能与泛化能力如何？

主要发现

• 可学习的眼科提示在若干任务上通过一次性微调实现了有竞争力或更优的分割性能。
• 在零-shot 测试中，在一个数据集训练的提示能够很好地泛化到其他两模态血管分割数据集以及来自不同制造商的 OCTA 数据集。
• 在 OCT 视网膜层分割（ARoI）上，Dice 比基线 SAM 提升约 25%。
• 在若干案例中，该方法能够对 OCTA 的大血管进行分割，并在视网膜层分割方面比单独的 SAM 效果更好。
• 小型或微小目标仍然对基于 SAM 的提示是挑战，表明需要进一步的提示增强来处理微小对象。