[论文解读] Customize Segment Anything Model for Multi-Modal Semantic Segmentation with Mixture of LoRA Experts

Chenyang Zhu, Bin Xiao+3 more|arXiv (Cornell University)|Dec 5, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本文提出 MLE-SAM，一种混合低秩专家（MoE-LoRA）框架，通过在冻结原始 SAM 权重的同时训练特定模态的 LoRA 适配器，实现对 Segment Anything Model (SAM) 的多模态语义分割适应。该方法在 MUSES 数据集上相较先前方法实现 32.15% 的 mIoU 提升，达到当前最优性能，尤其在模态缺失条件下表现突出。

ABSTRACT

The recent Segment Anything Model (SAM) represents a significant breakthrough in scaling segmentation models, delivering strong performance across various downstream applications in the RGB modality. However, directly applying SAM to emerging visual modalities, such as depth and event data results in suboptimal performance in multi-modal segmentation tasks. In this paper, we make the first attempt to adapt SAM for multi-modal semantic segmentation by proposing a Mixture of Low-Rank Adaptation Experts (MoE-LoRA) tailored for different input visual modalities. By training only the MoE-LoRA layers while keeping SAM's weights frozen, SAM's strong generalization and segmentation capabilities can be preserved for downstream tasks. Specifically, to address cross-modal inconsistencies, we propose a novel MoE routing strategy that adaptively generates weighted features across modalities, enhancing multi-modal feature integration. Additionally, we incorporate multi-scale feature extraction and fusion by adapting SAM's segmentation head and introducing an auxiliary segmentation head to combine multi-scale features for improved segmentation performance effectively. Extensive experiments were conducted on three multi-modal benchmarks: DELIVER, MUSES, and MCubeS. The results consistently demonstrate that the proposed method significantly outperforms state-of-the-art approaches across diverse scenarios. Notably, under the particularly challenging condition of missing modalities, our approach exhibits a substantial performance gain, achieving an improvement of 32.15% compared to existing methods.

研究动机与目标

• 解决将预训练的 Segment Anything Model (SAM) 应用于深度图、事件相机等非 RGB 视觉模态的挑战，这些模态具有独特特性，且会降低 SAM 的性能。
• 克服 RGB、深度图、事件数据和 LiDAR 等异质模态在融合过程中存在的跨模态不一致与特征整合不佳问题。
• 通过仅微调轻量级 LoRA 适配器并冻结原始模型权重，保留 SAM 强大的泛化能力与零样本性能。
• 通过动态 MoE 路由机制与多尺度特征融合，提升在模态缺失或噪声环境下的实际场景鲁棒性。
• 在标准与恶劣条件下，均在 DELIVER、MUSES 和 MCubeS 等多样化多模态基准上实现卓越的分割精度。

提出的方法

• 提出一种混合低秩适配专家（MoE-LoRA）框架，为每种模态（如 RGB、深度图、事件）分配专用的 LoRA 适配器，实现模态特异性微调。
• 设计一种动态 MoE 路由机制，自适应地计算模态间的注意力权重，生成加权融合特征，提升跨模态一致性与特征整合效果。
• 通过增加一个辅助头来修改 SAM 的分割头，以提取并融合多尺度特征，增强特征表征能力与分割精度。
• 仅训练 LoRA 适配器与辅助头，冻结所有原始 SAM 权重，确保 SAM 泛化能力不受影响。
• 实施双路径掩码预测策略，结合原始头与辅助头的输出，通过多尺度融合提升掩码质量。
• 将 MoE-LoRA 框架应用于三个基准数据集：DELIVER、MUSES 和 MCubeS，并在噪声与模态缺失条件下进行广泛消融与鲁棒性评估。

实验结果

研究问题

• RQ1 基于 LoRA 的微调能否在不微调原始权重的前提下，有效适应预训练的 Segment Anything Model 以处理非 RGB 视觉模态？
• RQ2 混合专家路由机制如何提升异质数据中的多模态特征融合效果，并缓解跨模态不一致问题？
• RQ3 通过辅助分割头实现的多尺度特征融合，在多模态设置下对分割性能的提升程度如何？
• RQ4 与现有 SOTA 方法相比，所提出的 MLE-SAM 框架在真实世界挑战（如模态缺失或噪声）下的表现如何？
• RQ5 各组件（MoE 路由、多尺度融合、辅助头）对多模态语义分割整体性能提升的贡献分别是什么？

主要发现

• 在包含四种模态（R-D-E-L）的 DELIVER 数据集上，MLE-SAM 相较 SOTA 方法实现 +4.9% 的 mIoU 提升。
• 在包含三种模态（F-E-L）的 MUSES 数据集上，MLE-SAM 实现 +28.14% 的 mIoU 提升，展现出在复杂多模态场景中的强大性能。
• 在模态缺失条件下，MLE-SAM 在 MUSES 数据集上相较现有方法实现 32.15% 的 mIoU 提升，凸显其鲁棒性。
• 在噪声测试条件下，MLE-SAM 在所有模态上均优于 CWSAM 与 SAM-LoRA，在随机噪声下 RGB 模态的 mIoU 提升达 32.42%。
• MoE 路由机制能有效平衡密集模态（RGB、深度图）与稀疏模态（事件、LiDAR）的贡献，且在高斯噪声与随机噪声下，事件与 LiDAR 模态的 mIoU 值仍保持较高水平。
• 消融实验表明，辅助头与 MoE 路由机制对最终性能提升均有显著且独立的贡献。