[论文解读] Fusion-Mamba for Cross-modality Object Detection

Wenhao Dong, Haodong Zhu+7 more|arXiv (Cornell University)|Apr 14, 2024

Advanced Image and Video Retrieval Techniques被引用 15

一句话总结

这篇论文提出 Fusion-Mamba 模块，在隐藏状态空间中使用 SSCS 和 DSSF 融合 RGB 和 IR 特征，在多数据集上实现跨模态目标检测的最先进水平。

ABSTRACT

Cross-modality fusing complementary information from different modalities effectively improves object detection performance, making it more useful and robust for a wider range of applications. Existing fusion strategies combine different types of images or merge different backbone features through elaborated neural network modules. However, these methods neglect that modality disparities affect cross-modality fusion performance, as different modalities with different camera focal lengths, placements, and angles are hardly fused. In this paper, we investigate cross-modality fusion by associating cross-modal features in a hidden state space based on an improved Mamba with a gating mechanism. We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction, thereby reducing disparities between cross-modal features and enhancing the representation consistency of fused features. FMB contains two modules: the State Space Channel Swapping (SSCS) module facilitates shallow feature fusion, and the Dual State Space Fusion (DSSF) enables deep fusion in a hidden state space. Through extensive experiments on public datasets, our proposed approach outperforms the state-of-the-art methods on $m$AP with 5.9% on $M^3FD$ and 4.9% on FLIR-Aligned datasets, demonstrating superior object detection performance. To the best of our knowledge, this is the first work to explore the potential of Mamba for cross-modal fusion and establish a new baseline for cross-modality object detection.

研究动机与目标

• 通过解决 RGB 与 IR 数据之间的模态差异来推动鲁棒的跨模态目标检测。
• 开发一个隐藏状态交互机制，以更好地融合跨模态特征。
• 设计一个高效的融合模块，在不过度计算的情况下提升表征一致性。
• 在多种骨干网络的公开 RGB-IR 数据集上展示最先进的性能。

提出的方法

• 引入 Fusion-Mamba blocks（FMB），由两个模块组成：State Space Channel Swapping（SSCS）用于浅层融合，Dual State Space Fusion（DSSF）用于隐藏状态空间中的深层融合。
• 将跨模态特征映射到隐藏状态空间中，以实现交互并降低模态差异。
• SSCS 执行通道交换并应用 Visual State Space（VSS）块以实现浅层跨模态交互。
• DSSF 将特征投射到隐藏状态空间，具备门控机制以实现深层跨模态融合，随后投射回并进行残差连接。
• 通过加法融合增强的 RGB 与 IR 特征，形成用于检测头中 YOLOv5/YOLOv8 骨干网络的融合特征。

实验结果

研究问题

• RQ1 在融合过程中，如何降低 RGB 与 IR 特征之间的跨模态差异，以提高目标检测精度？
• RQ2 隐藏状态空间融合方法是否能优于对 RGB-IR 数据进行空间聚焦或基于变换器的融合？
• RQ3 与基于变换器的融合方法相比，使用 Fusion-Mamba 在准确性和计算方面有哪些权衡？

主要发现

• Fusion-Mamba 与 RGB-IR 数据在 M3FD（提升 5.9%）和 FLIR-Aligned（提升 4.9%）的 mAP 超越前法。
• 在 LLVIP 上，采用 YOLOv5 骨干的 Fusion-Mamba 达到 62.8 mAP 和 96.8 mAP50；用 YOLOv8 骨干时达到 64.3 mAP 和 97.0 mAP50。
• Fusion-Mamba 在 LLVIP、M3FD 和 FLIR-Aligned 数据集的各骨干上始终优于有竞争力的基线。
• 消融研究表明，移除 SSCS 或 DSSF 会使 mAP 显著下降，证明这两个模块对于有效的跨模态融合是必要的。
• 与基于变换器的融合相比，Fusion-Mamba 提供较低的时间复杂度，在相同设置下获得显著的加速（例如推理快 7–19 ms）。