[论文解读] Cross Attention-guided Dense Network for Images Fusion

Zhengwen Shen, Jun Wang+3 more|arXiv (Cornell University)|Sep 23, 2021

Advanced Image Fusion Techniques参考文献 30被引用 5

一句话总结

本文提出了一种用于图像融合的交叉注意力引导密集网络（CADNIF），这是一种统一的无监督深度学习框架，适用于多模态、多曝光和多焦点图像融合。通过利用交叉注意力机制建模空间对应关系，并通过密集连接增强特征学习，CADNIF在多种图像融合任务中均实现了卓越的融合性能，无论在定量还是定性评估上均优于当前最先进方法。

ABSTRACT

In recent years, various applications in computer vision have achieved substantial progress based on deep learning, which has been widely used for image fusion and shown to achieve adequate performance. However, suffering from limited ability in modeling the spatial correspondence of different source images, it still remains a great challenge for existing unsupervised image fusion models to extract appropriate feature and achieves adaptive and balanced fusion. In this paper, we propose a novel cross-attention-guided image fusion network, which is a unified and unsupervised framework for multi-modal image fusion, multi-exposure image fusion, and multi-focus image fusion. Different from the existing self-attention module, our cross-attention module focus on modeling the cross-correlation between different source images. Using the proposed cross attention module as a core block, a densely connected cross attention-guided network is built to dynamically learn the spatial correspondence to derive better alignment of important details from different input images. Meanwhile, an auxiliary branch is also designed to model the long-range information, and a merging network is attached to finally reconstruct the fusion image. Extensive experiments have been carried out on publicly available datasets, and the results demonstrate that the proposed model outperforms the state-of-the-art quantitatively and qualitatively.

研究动机与目标

• 为解决无监督深度图像融合网络中空间对应关系建模有限的问题。
• 通过显式学习源图像之间的交叉相关性，改善特征提取与自适应融合。
• 在单一深度学习框架下统一处理多模态、多曝光和多焦点图像融合。
• 通过密集连接与辅助全局上下文建模增强特征表示。
• 在无监督条件下实现鲁棒、均衡且高质量的融合。

提出的方法

• 引入一种交叉注意力模块，用于建模不同源图像之间的交叉相关性，重点关注空间对应关系。
• 采用密集连接架构以聚合特征，改善梯度流动与特征复用。
• 引入辅助分支以捕捉长距离上下文依赖关系与全局图像结构。
• 使用残差融合网络从对齐特征中重建最终融合图像。
• 应用全局残差学习（GRL）以在深层网络中保留并传播关键特征。
• 基于源图像特性，设计基于交叉自注意力与交叉空间注意力的任务特定融合模块。

实验结果

研究问题

• RQ1 深度学习模型如何在无监督图像融合中更好地建模源图像之间的空间对应关系？
• RQ2 交叉注意力机制是否能提升多样化图像融合任务中的特征对齐与融合质量？
• RQ3 辅助全局上下文建模在复杂图像融合场景中在多大程度上提升了融合性能？
• RQ4 密集连接与注意力机制的融合如何改善特征表示与重建效果？
• RQ5 统一框架能否在多模态、多曝光与多焦点图像融合中实现一致且优异的性能？

主要发现

• 所提出的CADNIF模型在多个图像融合基准上达到最先进性能，在定量与定性评估中均优于现有方法。
• 在红外与可见光图像融合任务中，CADNIF的Qabf得分为0.4070，SD为103.5565，CC为14.8226，优于所有消融实验变体。
• 消融实验结果证实，辅助网络（AU）与全局残差学习（GRL）组件显著提升了SD与Qabf指标。
• 注意力图可视化显示，模型在源图像的显著特征与结构细节上实现了有效的注意力分配。
• 该模型在四项融合任务中均表现出强大的泛化能力：多模态、多曝光、多焦点及医学图像融合。
• 完整模型（CA-DRDB-AU-GRL-Net）在所有指标中均取得最高分，证实了集成组件的有效性。