[论文解读] Efficient and Model-Based Infrared and Visible Image Fusion Via Algorithm Unrolling

Zixiang Zhao, Shuang Xu+4 more|arXiv (Cornell University)|May 12, 2020

Advanced Image Fusion Techniques参考文献 51被引用 6

一句话总结

本文提出AUIF，一种基于模型的深度学习框架，用于通过算法展开实现红外与可见光图像融合。通过将迭代优化模型展开为具有独立编码器（分别用于基础特征和细节特征）及共享解码器的可训练卷积神经网络（CNN），AUIF在仅使用11.63k参数的情况下实现了最先进的融合性能，且推理速度更快（在TNO数据集上平均仅需2.98秒），在定性和定量指标上均优于现有方法。

ABSTRACT

Infrared and visible image fusion (IVIF) expects to obtain images that retain thermal radiation information from infrared images and texture details from visible images. In this paper, a model-based convolutional neural network (CNN) model, referred to as Algorithm Unrolling Image Fusion (AUIF), is proposed to overcome the shortcomings of traditional CNN-based IVIF models. The proposed AUIF model starts with the iterative formulas of two traditional optimization models, which are established to accomplish two-scale decomposition, i.e., separating low-frequency base information and high-frequency detail information from source images. Then the algorithm unrolling is implemented where each iteration is mapped to a CNN layer and each optimization model is transformed into a trainable neural network. Compared with the general network architectures, the proposed framework combines the model-based prior information and is designed more reasonably. After the unrolling operation, our model contains two decomposers (encoders) and an additional reconstructor (decoder). In the training phase, this network is trained to reconstruct the input image. While in the test phase, the base (or detail) decomposed feature maps of infrared/visible images are merged respectively by an extra fusion layer, and then the decoder outputs the fusion image. Qualitative and quantitative comparisons demonstrate the superiority of our model, which can robustly generate fusion images containing highlight targets and legible details, exceeding the state-of-the-art methods. Furthermore, our network has fewer weights and faster speed.

研究动机与目标

• 为解决数据驱动CNN在红外与可见光图像融合（IVIF）中常缺乏可解释性且依赖经验性网络结构设计的局限性。
• 将传统优化模型中的基于模型的先验知识整合到深度学习框架中，以提升可解释性与性能。
• 开发一种轻量化、高效且鲁棒的IVIF方法，以保留热辐射信息与空间细节。
• 在保持或提升融合质量的同时，降低网络复杂度与推理时间。

提出的方法

• 该方法首先采用两种传统优化模型实现双尺度分解：一种用于低频基础特征，另一种用于高频细节特征。
• 应用算法展开技术，将每个优化迭代步骤转化为可学习的CNN层，从而将整个模型转换为可微分的神经网络。
• 网络架构由两个编码器（分别处理基础特征与细节特征）和一个共享解码器组成，可学习的系数源自原始优化模型。
• 训练过程中，通过结合ℓ₂与SSIM损失函数优化网络，以精确重建输入图像。
• 推理阶段，红外与可见光图像的基础特征图与细节特征图分别通过可学习的融合层进行融合，再由解码器完成重建。
• 网络层数（迭代次数）与融合策略通过在基准数据集上的验证确定。

实验结果

研究问题

• RQ1 算法展开能否有效弥合传统基于模型的优化与深度学习在IVIF中的应用？
• RQ2 将模型先验知识整合到CNN架构中是否能提升融合性能与效率？
• RQ3 参数更少的轻量化网络能否超越现有基于深度学习的IVIF方法？
• RQ4 所提方法在图像错位或低照度条件下表现如何？

主要发现

• AUIF在TNO、FLIR与NIR数据集上均达到最先进性能，在定性与定量评估中持续优于现有方法。
• 在TNO数据集上，模型平均推理时间仅为2.98秒，显著快于多个基线方法，如CSR（2119.32秒）与ImageFuse（149.83秒）。
• 仅含11.63k可学习参数，AUIF在参数效率上远超DenseFuse（74.19k）与FusionGan（925.63k）。
• 即使在低照度或图像错位等挑战性条件下，该方法仍能生成目标高亮清晰、细节可辨识的融合图像。
• 消融实验证实了网络设计的合理性，包括独立编码器的使用与融合层策略。