[论文解读] MFIF-GAN: A New Generative Adversarial Network for Multi-Focus Image Fusion

Yicheng Wang, Shuang Xu+4 more|arXiv (Cornell University)|Sep 21, 2020

Advanced Image Fusion Techniques参考文献 52被引用 4

一句话总结

本文提出MFIF-GAN，一种用于多焦点图像融合的新型生成对抗网络，通过生成略大于实际物体的聚焦图来减少模糊扩散效应（DSE）。该方法采用六分支编码器结构，结合Squeeze-and-Excitation残差块，损失函数中融合L1重建损失与梯度惩罚，基于合成的α-蒙版数据集进行训练，在视觉质量、定量指标和推理速度方面均达到最先进性能。

ABSTRACT

Multi-Focus Image Fusion (MFIF) is a promising image enhancement technique to obtain all-in-focus images meeting visual needs and it is a precondition of other computer vision tasks. One of the research trends of MFIF is to avoid the defocus spread effect (DSE) around the focus/defocus boundary (FDB). In this paper,we propose a network termed MFIF-GAN to attenuate the DSE by generating focus maps in which the foreground region are correctly larger than the corresponding objects. The Squeeze and Excitation Residual module is employed in the network. By combining the prior knowledge of training condition, this network is trained on a synthetic dataset based on an α-matte model. In addition, the reconstruction and gradient regularization terms are combined in the loss functions to enhance the boundary details and improve the quality of fused images. Extensive experiments demonstrate that the MFIF-GAN outperforms several state-of-the-art (SOTA) methods in visual perception, quantitative analysis as well as efficiency. Moreover, the edge diffusion and contraction module is firstly proposed to verify that focus maps generated by our method are accurate at the pixel level.

研究动机与目标

• 为解决多焦点图像融合中的模糊扩散效应（DSE）问题，该问题会降低焦点/非焦点边界附近的图像质量。
• 通过生成略大于实际物体的前景区域聚焦图，模拟真实DSE，从而提升融合质量。
• 开发一种基于深度学习的融合框架，在视觉感知、定量指标和计算效率方面超越现有最先进方法。
• 构建一个包含DSE的逼真合成数据集，用于监督式MFIF模型的训练。
• 通过一种新型边缘扩散与收缩模块，在像素级别验证生成聚焦图的准确性。

提出的方法

• 采用六分支编码器结构，结合Squeeze-and-Excitation残差（SE-ResNet）块，从输入图像中提取多尺度特征。
• 生成器在基于PASCAL VOC 2012数据集并应用α-蒙版模型生成的合成数据集上进行训练，以模拟真实的DSE。
• 采用联合损失函数，包含L1范数重建损失与梯度惩罚（L_gp），以增强边界细节的保留能力。
• 通过判别器进行对抗性训练，以提升融合图像的真实感与结构质量。
• 采用轻量级后处理步骤，利用SRR（超分辨率重建）算法高效优化初始聚焦图。
• 引入边缘扩散与收缩模块，用于验证聚焦图生成在像素级别的准确性。

实验结果

研究问题

• RQ1 深度生成模型能否通过生成更真实的聚焦图，有效减少多焦点图像融合中的模糊扩散效应（DSE）？
• RQ2 基于α-蒙版的合成数据集在监督式MFIF模型性能方面产生何种影响？
• RQ3 L1重建损失与梯度惩罚损失在多大程度上改善了融合图像的边缘细节保留？
• RQ4 所提出的六分支、注意力机制网络架构是否在融合质量与鲁棒性方面优于标准CNN？
• RQ5 后处理策略能否在不牺牲速度或质量的前提下高效优化聚焦图？

主要发现

• MFIF-GAN在多个基准测试中，所有定量指标（如PSNR、SSIM、LIF、AG、MSD、GLD）均优于最先进方法，表现最佳。
• 在RGB图像上推理时间仅为0.0486秒，MFFW为0.047秒，灰度图为0.0133秒，效率超过现有SOTA方法。
• 消融实验表明，L1重建损失与梯度惩罚显著提升边缘细节质量，而基于BCE的损失在边缘指标上表现更差。
• 使用α-蒙版数据集与SE-ResNet块可实现更优的特征提取，尤其在DSE影响区域表现突出。
• 后处理步骤以极低计算开销显著提升聚焦图准确性，同时保持最快的整体推理速度。
• 边缘扩散与收缩模块证实，生成的聚焦图具有像素级准确性，验证了该方法在物体边界层面模拟与缓解DSE的能力。