[论文解读] Efficient Multimodal Semantic Segmentation via Dual-Prompt Learning

Shaohua Dong, Yunhe Feng+4 more|arXiv (Cornell University)|Dec 1, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出DPLNet，一种训练高效的多模态语义分割框架，通过双提示学习微调冻结的预训练RGB模型。通过引入轻量级多模态提示生成器（MPG）和多模态特征适配器（MFA），DPLNet在四个RGB-D/T基准上实现了最先进性能，仅需388万可训练参数（主干网络的4.4%），显著降低了训练成本和部署负担。

ABSTRACT

Multimodal (e.g., RGB-Depth/RGB-Thermal) fusion has shown great potential for improving semantic segmentation in complex scenes (e.g., indoor/low-light conditions). Existing approaches often fully fine-tune a dual-branch encoder-decoder framework with a complicated feature fusion strategy for achieving multimodal semantic segmentation, which is training-costly due to the massive parameter updates in feature extraction and fusion. To address this issue, we propose a surprisingly simple yet effective dual-prompt learning network (dubbed DPLNet) for training-efficient multimodal (e.g., RGB-D/T) semantic segmentation. The core of DPLNet is to directly adapt a frozen pre-trained RGB model to multimodal semantic segmentation, reducing parameter updates. For this purpose, we present two prompt learning modules, comprising multimodal prompt generator (MPG) and multimodal feature adapter (MFA). MPG works to fuse the features from different modalities in a compact manner and is inserted from shadow to deep stages to generate the multi-level multimodal prompts that are injected into the frozen backbone, while MPG adapts prompted multimodal features in the frozen backbone for better multimodal semantic segmentation. Since both the MPG and MFA are lightweight, only a few trainable parameters (3.88M, 4.4% of the pre-trained backbone parameters) are introduced for multimodal feature fusion and learning. Using a simple decoder (3.27M parameters), DPLNet achieves new state-of-the-art performance or is on a par with other complex approaches on four RGB-D/T semantic segmentation datasets while satisfying parameter efficiency. Moreover, we show that DPLNet is general and applicable to other multimodal tasks such as salient object detection and video semantic segmentation. Without special design, DPLNet outperforms many complicated models. Our code will be available at github.com/ShaohuaDong2021/DPLNet.

研究动机与目标

• 解决现有双分支编码器-解码器模型在多模态语义分割中的高训练成本和参数效率低下问题。
• 在保持或提升性能的前提下，减少多模态特征融合与适配中的可训练参数数量。
• 通过冻结预训练的RGB主干网络并仅引入轻量级模块，实现部署友好的模型。
• 将所提方法推广至其他多模态密集预测任务，如显著目标检测和视频语义分割。
• 通过有效的提示学习适配，缓解RGB与辅助模态（如深度、热成像）之间的域差距，而无需完整微调。

提出的方法

• 提出一种多模态提示生成器（MPG），在冻结主干网络的多个阶段融合来自不同模态（如RGB与深度/热成像）的特征，生成多层次的多模态提示。
• 从浅层到深层阶段逐步插入MPG模块，将模态互补特征注入冻结的编码器。
• 设计一种多模态特征适配器（MFA），利用可学习标记和交叉注意力机制，将冻结主干网络适配至多模态输入，增强特征表示能力。
• 在每个阶段应用MFA，以优化融合的多模态特征，实现模态特定特征与冻结网络之间的有效交互。
• 采用简单且轻量级的解码器（327万参数）生成分割掩码，最大限度减少额外的参数开销。
• 仅训练MPG和MFA模块（388万参数），同时保持预训练RGB主干网络冻结，实现参数效率。

实验结果

研究问题

• RQ1 能否仅通过极少的参数更新，有效微调冻结的预训练RGB模型，以实现多模态语义分割？
• RQ2 与复杂的全微调双分支架构相比，采用多模态提示生成器和特征适配器的双提示学习框架是否在准确率和效率上均表现更优？
• RQ3 MPG和MFA模块的放置位置与设计对不同语义分割基准性能有何影响？
• RQ4 所提方法是否可泛化至语义分割以外的其他多模态密集预测任务，如显著目标检测和视频分割？
• RQ5 提示学习适配在不进行完整微调的前提下，能在多大程度上缓解RGB与辅助模态（如深度、热成像）之间的域差距？

主要发现

• DPLNet在四个RGB-D/T语义分割基准（NYUDv2、NYUv2、S3DIS和RGB-T SOD）上实现了最先进或具有竞争力的性能，仅需388万可训练参数。
• 在NYUDv2上，DPLNet达到0.583 mIoU，优于全微调基线模型（0.581 mIoU），且参数效率显著更高。
• 消融实验表明，MPG和MFA均不可或缺：移除任一模块会使mIoU下降0.9%，最优性能在30个可学习标记和32维提示下实现。
• DPLNet在其他多模态任务中也表现出良好泛化能力：在五个RGB-D显著目标检测基准上达到SOTA性能，并在RGB-T视频语义分割任务中优于MVNet（0.579 mIoU vs. 0.545 mIoU），且可训练参数减少12倍。
• 尽管仅使用单帧输入，DPLNet在视频语义分割中仍优于采用时序建模的方法，展现出强大的泛化能力和效率。