[论文解读] MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion

Zhe Li, Haiwei Pan+3 more|arXiv (Cornell University)|Apr 12, 2024

Advanced Image Fusion Techniques被引用 17

一句话总结

MambaDFuse 引入了基于 Mamba 的双阶段框架，具备双层特征提取与双阶段融合用于 MMIF，在 IVF 和 MIF 上达到业界前沿结果并提升下游目标检测。

ABSTRACT

Multi-modality image fusion (MMIF) aims to integrate complementary information from different modalities into a single fused image to represent the imaging scene and facilitate downstream visual tasks comprehensively. In recent years, significant progress has been made in MMIF tasks due to advances in deep neural networks. However, existing methods cannot effectively and efficiently extract modality-specific and modality-fused features constrained by the inherent local reductive bias (CNN) or quadratic computational complexity (Transformers). To overcome this issue, we propose a Mamba-based Dual-phase Fusion (MambaDFuse) model. Firstly, a dual-level feature extractor is designed to capture long-range features from single-modality images by extracting low and high-level features from CNN and Mamba blocks. Then, a dual-phase feature fusion module is proposed to obtain fusion features that combine complementary information from different modalities. It uses the channel exchange method for shallow fusion and the enhanced Multi-modal Mamba (M3) blocks for deep fusion. Finally, the fused image reconstruction module utilizes the inverse transformation of the feature extraction to generate the fused result. Through extensive experiments, our approach achieves promising fusion results in infrared-visible image fusion and medical image fusion. Additionally, in a unified benchmark, MambaDFuse has also demonstrated improved performance in downstream tasks such as object detection. Code with checkpoints will be available after the peer-review process.

研究动机与目标

• 推动MMIF在融合质量与计算效率之间取得平衡。
• 提出一个基于 Mamba 的骨干网络，以克服在 MMIF 中卷积神经网络/Transformer 的局限性。
• 设计双层次特征提取，以捕捉局部与长程模态特异信息。
• 开发双阶段融合机制，以整合来自多模态的全局概览与局部细节。
• 在 IVF（红外-可见）及 MIF（医学）融合任务和下游检测上展示改进。

提出的方法

• 使用双层次特征提取器，结合用于低层特征的卷积神经网络（CNN）和用于高层长程特征的 Mamba 块。
• 实现一个带通道交换的浅层融合模块，以快速融合全局信息。
• 开发一个使用多模态 Mamba（M3）块的深层融合模块，以跨模态信息引导模态融合特征。
• 通过特征提取管线的逆变换重建融合图像。
• 采用与前述 SwinFusion 工作相同的损失函数组合，即同时包含结构相似性（SSIM）、纹理和强度项进行训练。

实验结果

研究问题

• RQ1 基于 Mamba 的体系结构是否能与基于 CNN 或 Transformer 的骨干网络相比，在 MMIF 上实现高效且有效？
• RQ2 双层次特征提取是否提升对模态特异特征的捕获以用于 MMIF？
• RQ3 双阶段融合（浅层通道交换+基于深层 M3 的融合）是否能为 IVF 与 MIF 生成更优的融合特征？
• RQ4 由 MambaDFuse 产生的融合图像是否提升下游任务，如目标检测？

主要发现

• MambaDFuse 在多个数据集上的 IVF 和 MIF 基准测试中实现领先性能（IVF：MSRS、RoadScene、M3FD；MIF：MRI-CT、MRI-PET、MRI-SPECT）。
• 通过通道交换实现的浅层融合阶段在不增加额外参数的情况下有效整合跨模态信息。
• 使用 M3 块的深层融合阶段在模态特异特征的引导下改善了对细节的融合。
• 融合图像在定量指标（如 MI、VIF、SSIM、Qabf）上显示提升，在定性比较中对象轮廓更清晰。
• 统一基准测试表明使用 MambaDFuse 融合图像时，下游目标检测性能得到提升。