[论文解读] RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation

Yonglin Li, Jing Zhang+3 more|arXiv (Cornell University)|Jul 3, 2023

Advanced Neural Network Applications被引用 7

一句话总结

该论文提出 RefSAM，首个基于 SAM 的端到端、用于指代视频实例分割（RVOS）的框架，通过轻量级跨模态 MLP、分层密集注意力机制和隐式追踪模块，高效融合多模态（视觉-语言）与时序（帧级）信息，实现对 Segment Anything Model（SAM）的适应。RefSAM 在 Ref-Youtube-VOS 和 Ref-DAVIS17 上分别取得 74.1% 的 mIoU 和 72.8% 的 oIoU，达到当前最优性能，同时保持高推理速度（使用 ViT-B 时为 9.5 FPS）。

ABSTRACT

The Segment Anything Model (SAM) has gained significant attention for its impressive performance in image segmentation. However, it lacks proficiency in referring video object segmentation (RVOS) due to the need for precise user-interactive prompts and a limited understanding of different modalities, such as language and vision. This paper presents the RefSAM model, which explores the potential of SAM for RVOS by incorporating multi-view information from diverse modalities and successive frames at different timestamps in an online manner. Our proposed approach adapts the original SAM model to enhance cross-modality learning by employing a lightweight Cross-Modal MLP that projects the text embedding of the referring expression into sparse and dense embeddings, serving as user-interactive prompts. Additionally, we have introduced the hierarchical dense attention module to fuse hierarchical visual semantic information with sparse embeddings to obtain fine-grained dense embeddings, and an implicit tracking module to generate a tracking token and provide historical information for the mask decoder. Furthermore, we employ a parameter-efficient tuning strategy to align and fuse the language and vision features effectively. Through comprehensive ablation studies, we demonstrate our model's practical and effective design choices. Extensive experiments conducted on Refer-Youtube-VOS, Ref-DAVIS17, and three referring image segmentation datasets validate the superiority and effectiveness of our RefSAM model over existing methods.

研究动机与目标

• 为解决将 Segment Anything Model（SAM）适配于指代视频实例分割（RVOS）的挑战，该任务要求在无需第一帧真实掩码的情况下，实现语言与视觉模态之间的零样本、端到端对齐。
• 克服现有基于 SAM 的方法依赖外部目标检测器（如 Grounding DINO）提供第一帧边界框的局限性，此类方法引入流水线误差并降低端到端能力。
• 通过参数高效的方式，融合分层视觉特征与稀疏文本引导提示，实现视频中语言与视觉之间的有效跨模态理解。
• 设计一种轻量化、高效的架构，在保持高推理速度的同时，实现在 RVOS 基准上的最先进性能。

提出的方法

• 提出一种轻量级跨模态 MLP，将 T5-3b 编码器生成的文本嵌入投影为稀疏与密集提示，替代传统的点/边界框提示，用于语言引导的分割。
• 提出一种分层密集注意力模块，将多尺度视觉特征与稀疏文本引导嵌入融合，生成细粒度的密集嵌入，以实现精确的掩码预测。
• 设计一种隐式追踪模块，从上一帧的掩码预测中生成轨迹标记，为掩码解码器提供历史上下文，实现时序一致性。
• 采用参数高效微调策略（如 LoRA 风格的微调），仅微调少量参数，保留 SAM 的泛化能力，同时实现跨模态对齐。
• 通过修改提示编码器与掩码解码器，将原始 SAM 架构适配于在线、逐帧推理设置，支持同时输入视觉与语言嵌入。
• 采用 ViT-B/L/H 作为视觉编码器，T5-3b 作为文本编码器，并在视频与指代图像分割数据集上进行联合训练，以增强零样本泛化能力。

实验结果

研究问题

• RQ1 Segment Anything Model（SAM）能否在无需外部目标检测器的情况下，以端到端、零样本的方式有效适配于指代视频实例分割（RVOS）？
• RQ2 当第一帧缺乏真实掩码时，如何在视频分割中增强语言与视觉特征之间的跨模态对齐？
• RQ3 哪些架构组件在融合多尺度视觉特征与语言引导的稀疏提示时最有效，以提升掩码精度？
• RQ4 隐式追踪机制能否在在线分割设置中提升时序一致性并减少帧间误差累积？
• RQ5 参数高效微调在多大程度上能保留 SAM 的泛化能力，同时实现对 RVOS 的有效适配？

主要发现

• RefSAM 在 Ref-Youtube-VOS 上取得 74.1% 的 mIoU，在 Ref-DAVIS17 上取得 72.8% 的 oIoU，两项基准均刷新当前最先进结果。
• 在指代图像分割数据集（RefCOCO、RefCOCO+、G-Ref）上，RefSAM 在 RefCOCO 上达到 76.77% 的 mIoU，在 G-Ref 上达到 70.14%，优于 LAVT 和 RefTR 等先前方法。
• 采用 ViT-B 主干网络时，RefSAM 实现 9.5 FPS 的推理速度，优于 SAM-Track（1.5 FPS）与 PerSAM（4.0 FPS），证明其在增强功能下仍具备高效率。
• 消融实验表明，分层密集注意力模块与隐式追踪模块均对性能有显著贡献，且跨模态 MLP 对有效语言提示至关重要。
• 由于采用参数高效微调，RefSAM 仅使用 6.7M 参数（ViT-H），远低于原始 SAM 的 641.1M，证明其高效性与可扩展性。
• 该模型在指代图像分割任务中也表现出良好泛化能力，在三个标准数据集上均取得 SOTA 结果，证明其在视频之外任务中的多功能性。