[论文解读] End-to-End Learning for Simultaneously Generating Decision Map and Multi-Focus Image Fusion Result

Boyuan Ma, Xiang Yin+2 more|arXiv (Cornell University)|Oct 17, 2020

Advanced Image Fusion Techniques参考文献 58被引用 78

一句话总结

该论文提出GACN，一种级联网络，可端到端同时生成决策图与融合的多焦点图像，避免了经验性的后处理。通过引入梯度感知损失和决策校准策略，其在提升融合质量的同时，将多图像融合速度提升30%以上。

ABSTRACT

The general aim of multi-focus image fusion is to gather focused regions of different images to generate a unique all-in-focus fused image. Deep learning based methods become the mainstream of image fusion by virtue of its powerful feature representation ability. However, most of the existing deep learning structures failed to balance fusion quality and end-to-end implementation convenience. End-to-end decoder design often leads to unrealistic result because of its non-linear mapping mechanism. On the other hand, generating an intermediate decision map achieves better quality for the fused image, but relies on the rectification with empirical post-processing parameter choices. In this work, to handle the requirements of both output image quality and comprehensive simplicity of structure implementation, we propose a cascade network to simultaneously generate decision map and fused result with an end-to-end training procedure. It avoids the dependence on empirical post-processing methods in the inference stage. To improve the fusion quality, we introduce a gradient aware loss function to preserve gradient information in output fused image. In addition, we design a decision calibration strategy to decrease the time consumption in the application of multiple images fusion. Extensive experiments are conducted to compare with 19 different state-of-the-art multi-focus image fusion structures with 6 assessment metrics. The results prove that our designed structure can generally ameliorate the output fused image quality, while implementation efficiency increases over 30\% for multiple images fusion.

研究动机与目标

• 解决基于深度学习的图像融合中融合质量与端到端训练简洁性之间的权衡问题。
• 消除在生成融合图像时对经验性后处理以校正决策图的依赖。
• 通过新型损失函数保留融合图像中的梯度信息。
• 通过决策校准策略提升多图像融合的计算效率。

提出的方法

• 提出一种级联网络架构，以端到端方式联合预测决策图与融合图像。
• 引入梯度感知损失函数（LQg），通过优化融合输出中的梯度相似性，保留边缘和纹理细节。
• 采用决策校准模块，计算多幅输入图像中的活动水平，以减少多图像融合中的冗余计算。
• 结合LDice与LQg损失函数，提升决策图的准确性和梯度保留能力。
• 在梯度损失中应用平滑近似与绝对值函数，以提升数值稳定性和性能。
• 端到端训练网络，无需后处理，确保直接优化融合图像质量。

实验结果

研究问题

• RQ1 端到端训练能否在无需后处理的情况下，同时生成高质量的决策图与融合图像？
• RQ2 梯度感知损失函数如何提升融合多焦点图像的感知质量？
• RQ3 决策校准策略能否显著降低多图像融合的时间消耗？
• RQ4 所提方法在融合质量与效率方面与19种最先进方法相比如何？

主要发现

• 所提出的GACN在六项评估指标上均实现卓越的融合质量，优于19种SOTA方法。
• LDice与LQg损失函数的结合表现最佳，其中LQg在保留梯度信息方面最为有效。
• 决策校准策略使'chip'数据集的耗时相比串行融合减少30.65%，在各类方法中实现30%以上的效率提升。
• 消融实验表明，LQg在保留结构细节方面优于LEG与LST。
• 该方法在多种数据集上表现稳健，包括具有多个焦点点的显微图像。
• 可视化结果表明，GACN生成的融合图像更清晰，伪影更少，优于CNN-Fuse与SESF-Fuse。