[论文解读] Adapting Segment Anything Model (SAM) through Prompt-based Learning for Enhanced Protein Identification in Cryo-EM Micrographs

Fei He, Zhiyuan Yang+7 more|arXiv (Cornell University)|Nov 4, 2023

Cell Image Analysis Techniques被引用 4

一句话总结

本文提出通过提示学习微调分割一切模型（SAM），以提升冷冻电镜（cryo-EM）图像中蛋白质颗粒的检测性能，实现仅用极少标注数据即可获得优越的分割效果，且无需微调主干网络。该方法在降低计算成本的同时保留了模型的基础知识，相比传统微调方法更具效率，且在低对比度、异质性较强的冷冻电镜图像上展现出优异的泛化能力。

ABSTRACT

Cryo-electron microscopy (cryo-EM) remains pivotal in structural biology, yet the task of protein particle picking, integral for 3D protein structure construction, is laden with manual inefficiencies. While recent AI tools such as Topaz and crYOLO are advancing the field, they do not fully address the challenges of cryo-EM images, including low contrast, complex shapes, and heterogeneous conformations. This study explored prompt-based learning to adapt the state-of-the-art image segmentation foundation model Segment Anything Model (SAM) for cryo-EM. This focus was driven by the desire to optimize model performance with a small number of labeled data without altering pre-trained parameters, aiming for a balance between adaptability and foundational knowledge retention. Through trials with three prompt-based learning strategies, namely head prompt, prefix prompt, and encoder prompt, we observed enhanced performance and reduced computational requirements compared to the fine-tuning approach. This work not only highlights the potential of prompting SAM in protein identification from cryo-EM micrographs but also suggests its broader promise in biomedical image segmentation and object detection.

研究动机与目标

• 为解决冷冻电镜图像中人工蛋白质颗粒挑选效率低下且主观性强的问题。
• 克服现有AI工具（如Topaz和crYOLO）在处理低对比度、复杂形状及构象异质性蛋白质颗粒时的局限性。
• 探索无需微调的预训练SAM模型在冷冻电镜图像分割中的提示学习适应方法。
• 在保留SAM基础知识的前提下，仅用极少标注数据实现高性能分割。
• 评估并比较三种提示学习策略——头部提示、前缀提示和编码器提示——以实现最佳性能与效率。

提出的方法

• 本研究采用提示学习方法，对预训练的分割一切模型（SAM）进行微调，以实现冷冻电镜图像分割，且不更新主干网络的权重。
• 评估了三种提示策略：头部提示（在掩码解码器头部引入可学习提示）、前缀提示（将可学习标记注入视觉编码器）和编码器提示（在视觉编码器的注意力层中引入可学习标记）。
• 提示参数通过少量标注的冷冻电镜颗粒数据进行端到端优化，而原始SAM主干网络保持冻结状态。
• 该方法利用SAM的零样本泛化能力，通过针对冷冻电镜蛋白质形态定制的可学习提示来实现条件分割。
• 性能通过标准指标（如平均交并比（mIoU）和F1分数）在冷冻电镜验证集上进行评估。
• 该方法避免了完整的微调过程，显著降低了内存与计算需求，同时保持了高精度的分割性能。

实验结果

研究问题

• RQ1 能否通过提示学习微调SAM，在不微调主干权重的前提下，提升冷冻电镜图像中蛋白质颗粒的分割性能？
• RQ2 在冷冻电镜蛋白质识别任务中，头部提示、前缀提示和编码器提示三种策略在性能与效率方面如何比较？
• RQ3 提示学习在低对比度、异质性冷冻电镜图像中，能否仅用极少标注数据实现高分割精度？
• RQ4 提示学习微调是否能在适应冷冻电镜数据特定特征的同时，保留SAM的基础知识？
• RQ5 在具有挑战性的冷冻电镜分割场景中，提示学习微调的SAM能否超越现有最先进方法（如Topaz和crYOLO）？

主要发现

• 通过提示学习微调SAM获得的平均交并比（mIoU）得分高于完整微调，表明在更少参数更新下仍能实现更优性能。
• 编码器提示策略在准确率与计算效率之间实现了最佳平衡，在mIoU和推理速度方面均优于头部提示与前缀提示。
• 与完整微调相比，该方法将训练参数减少了99%以上，显著降低了内存与计算成本。
• 模型在多种蛋白质形状及低对比度条件下均表现出良好泛化能力，表明对冷冻电镜图像多样性的强鲁棒性。
• 即使仅使用少量标注颗粒，提示学习方法仍实现了高F1分数，证实其数据效率优异。
• 结果表明，提示学习微调在保留SAM零样本泛化能力的同时，实现了以极小数据量进行领域特定适应。