[论文解读] FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba

Xinyu Xie, Yawen Cui+3 more|arXiv (Cornell University)|Apr 15, 2024

Advanced Image Fusion Techniques被引用 4

一句话总结

FusionMamba 提出了一种新颖的多模态图像融合框架，采用改进的基于 Mamba 的架构，并结合动态特征增强，以平衡全局上下文建模与局部细节保留。通过集成动态卷积、通道注意力和跨模态融合模块，该方法在包括医学影像（CT-MRI、PET-MRI）、红外-可见光以及生物医学（GFP-PC）在内的多种数据集上实现了最先进性能，关键指标显著提升且计算成本更低。

ABSTRACT

Multimodal image fusion aims to integrate information from different imaging techniques to produce a comprehensive, detail-rich single image for downstream vision tasks. Existing methods based on local convolutional neural networks (CNNs) struggle to capture global features efficiently, while Transformer-based models are computationally expensive, although they excel at global modeling. Mamba addresses these limitations by leveraging selective structured state space models (S4) to effectively handle long-range dependencies while maintaining linear complexity. In this paper, we propose FusionMamba, a novel dynamic feature enhancement framework that aims to overcome the challenges faced by CNNs and Vision Transformers (ViTs) in computer vision tasks. The framework improves the visual state-space model Mamba by integrating dynamic convolution and channel attention mechanisms, which not only retains its powerful global feature modeling capability, but also greatly reduces redundancy and enhances the expressiveness of local features. In addition, we have developed a new module called the dynamic feature fusion module (DFFM). It combines the dynamic feature enhancement module (DFEM) for texture enhancement and disparity perception with the cross-modal fusion Mamba module (CMFM), which focuses on enhancing the inter-modal correlation while suppressing redundant information. Experiments show that FusionMamba achieves state-of-the-art performance in a variety of multimodal image fusion tasks as well as downstream experiments, demonstrating its broad applicability and superiority.

研究动机与目标

• 解决卷积神经网络在捕捉全局上下文方面的局限性，以及变换器在多模态图像融合中计算复杂度过高的问题。
• 克服卷积操作静态特性导致无法适应多模态输入中空间变化的问题。
• 开发一种轻量化、高效的架构，以增强模态间相关性，同时抑制冗余信息。
• 通过整合动态特征增强与选择性状态空间建模，提升融合性能，实现更好的纹理与差异感知。
• 在涵盖医学、红外-可见光及生物医学成像的多样化多模态图像融合基准上，验证所提方法的泛化能力。

提出的方法

• 通过集成动态卷积与通道注意力，改进高效 Mamba 模型，以增强局部特征提取并减少通道冗余。
• 提出动态特征融合模块（DFFM），包含两个动态特征增强模块（DFEM），用于自适应地感知纹理与差异。
• 采用跨模态融合 Mamba 模块（CMFM），以建模长距离依赖关系并增强模态间的相关性。
• 使用混合损失函数，结合 SSIM、纹理损失与亮度损失，以保持结构完整性、边缘细节与亮度一致性。
• 采用选择性结构化状态空间模型，实现线性复杂度，高效建模长距离依赖关系，避免自注意力机制的二次方计算开销。
• 采用并行扫描算法与结构化重参数化技术，加速推理过程，同时保持高性能。

实验结果

研究问题

• RQ1 基于 Mamba 的架构能否以线性复杂度有效建模多模态图像融合中的长距离依赖关系？
• RQ2 动态卷积与通道注意力在多模态融合中如何提升局部特征增强效果？
• RQ3 所提出的 DFFM 模块在增强模态间相关性的同时，对抑制冗余信息的贡献程度如何？
• RQ4 CMFM 模块的集成是否相比静态或注意力机制融合模块能带来更优的融合性能？
• RQ5 FusionMamba 是否能在涵盖医学、红外-可见光及生物医学成像的多样化多模态数据集上实现良好泛化？

主要发现

• FusionMamba 在 CT-MRI、PET-MRI、SPECT-MRI、IR-VIS 和 GFP-PC 数据集上均达到最先进性能，在 IR-VIS 基准上 VIF 得分为 0.7717，SF 为 17.0171。
• 模型将 FLOPs 降低至 16.50G，显著低于以往最先进方法，展现出极高的计算效率。
• 消融实验表明，若移除 CMFM 或 DFEM 模块，MS-SSIM 下降 4.36%，SF 下降 3.2%，证实二者关键作用。
• 完整损失函数（SSIM + 纹理 + 亮度）获得最高 MS-SSIM（0.9331）与 SF（17.0171），优于各变体。
• 将 Mamba 主干替换为 Transformer 导致 VIF 下降 1.5%，SF 下降 1.5%，证实 Mamba 在效率与性能上的优越性。
• 在 GFP-PC 数据集上，FusionMamba 相较于 U2Fusion 实现 Q^{AB/F} 13.5% 的提升，较次优方法提升 10.2%。