[论文解读] Deep Convolutional Sparse Coding Networks for Image Fusion

Shuang Xu, Zixiang Zhao+4 more|arXiv (Cornell University)|May 18, 2020

Advanced Image Fusion Techniques参考文献 43被引用 7

一句话总结

本文提出三种用于红外-可见光、多曝光及多模态图像融合的深度卷积稀疏编码（CSC）网络，通过将迭代软阈值收缩算法（ISTA）展开为可学习的字典卷积单元（DCU）。该方法从数据中端到端学习所有超参数（如正则化参数、阈值、滤波器），在多种数据集上实现了最先进的定量指标与视觉质量表现。

ABSTRACT

Image fusion is a significant problem in many fields including digital photography, computational imaging and remote sensing, to name but a few. Recently, deep learning has emerged as an important tool for image fusion. This paper presents three deep convolutional sparse coding (CSC) networks for three kinds of image fusion tasks (i.e., infrared and visible image fusion, multi-exposure image fusion, and multi-modal image fusion). The CSC model and the iterative shrinkage and thresholding algorithm are generalized into dictionary convolution units. As a result, all hyper-parameters are learned from data. Our extensive experiments and comprehensive comparisons reveal the superiority of the proposed networks with regard to quantitative evaluation and visual inspection.

研究动机与目标

• 解决传统图像融合方法依赖手工设计超参数且泛化能力不足的问题。
• 通过直接从数据中学习所有超参数（如正则化、阈值、滤波器）来提升融合性能。
• 为多种图像融合任务构建统一、可解释且可复现的深度学习框架。
• 克服现有方法仅在精心挑选的图像上评估所导致的泛化能力差的问题。
• 将迭代软阈值收缩算法（ISTA）整合为可微分的神经网络单元，实现端到端训练。

提出的方法

• 将卷积稀疏编码（CSC）模型与ISTA算法推广为一种可微分的层，称为字典卷积单元（DCU）。
• 用可学习组件替代ISTA中的固定超参数：卷积滤波器、正则化参数与阈值函数。
• 使用两层卷积层表示ISTA中的前向与转置卷积操作，配合批量归一化与可学习激活函数。
• 根据所用正则化类型，采用软收缩阈值（SST）或替代激活函数（如ReLU、PReLU）。
• 通过堆叠多个DCU构建深层网络，分别针对三种融合任务：红外-可见光、多曝光与多模态图像融合。
• 采用标准优化方法（Adam）进行端到端训练，损失函数根据每项任务定制，包括感知损失与重建损失。

实验结果

研究问题

• RQ1 能否将卷积稀疏编码的迭代软阈值收缩算法（ISTA）有效展开为可学习的神经网络层？
• RQ2 从数据中学习所有超参数（如正则化参数、阈值、滤波器）是否能提升在多样化图像融合任务中的性能？
• RQ3 所提出的深度CSC网络在定量指标与视觉质量方面与SOTA方法相比表现如何？
• RQ4 该方法是否能在大规模、多样化的数据集上实现良好泛化，而不仅限于精心挑选的测试图像？
• RQ5 所提出的框架在不同图像融合场景下是否具备可复现性与鲁棒性？

主要发现

• 所提出的深度CSC网络在三项图像融合任务中均取得最佳性能：红外-可见光、多曝光与多模态融合。
• 在多曝光融合基准测试中，该方法取得MEON 8.1776、Brisque 18.2694、Niqe 2.3980与Piqe 27.8342，优于所有对比方法。
• 在Cave数据集上的多模态融合任务中，该方法达到PSNR 46.2319与SSIM 0.9900，显著优于第二名方法GLPHS（PSNR 39.4215，SSIM 0.9706）。
• 视觉评估表明，所提方法生成的融合图像具有更均衡的对比度，更少的伪影与光环效应，并更好保留了细节与纹理。
• 实验结果表明该方法具有高度可复现性，补充实验显示其在多次运行与不同数据集上均保持一致性能。
• 误差图显示，与CNMF与PFCN等SOTA方法相比，该方法在边缘与纹理丰富区域的重建误差最小。