[论文解读] A Multiple Source Hourglass Deep Network for Multi-Focus Image Fusion

Fidel A. Guerrero Peña, Pedro D. Marrero Fernández+3 more|arXiv (Cornell University)|Aug 28, 2019

Advanced Image Fusion Techniques参考文献 20被引用 4

一句话总结

本文提出一种用于多焦点图像融合的多源hourglass深度神经网络，通过端到端训练，利用基于回归的损失函数联合学习焦点图估计与融合规则。该方法在520×520图像上相比现有方法实现60倍的加速，展现出卓越的计算效率与在两个或更多输入源上的泛化能力，达到当前最优性能。

ABSTRACT

Multi-Focus Image Fusion seeks to improve the quality of an acquired burst of images with different focus planes. For solving the task, an activity level measurement and a fusion rule are typically established to select and fuse the most relevant information from the sources. However, the design of this kind of method by hand is really hard and sometimes restricted to solution spaces where the optimal all-in-focus images are not contained. Then, we propose here two fast and straightforward approaches for image fusion based on deep neural networks. Our solution uses a multiple source Hourglass architecture trained in an end-to-end fashion. Models are data-driven and can be easily generalized for other kinds of fusion problems. A segmentation approach is used for recognition of the focus map, while the weighted average rule is used for fusion. We designed a training loss function for our regression-based fusion function, which allows the network to learn both the activity level measurement and the fusion rule. Experimental results show our approach has comparable results to the state-of-the-art methods with a 60X increase of computational efficiency for 520X520 resolution images.

研究动机与目标

• 解决多焦点图像融合中手工设计的活动水平度量与融合规则的局限性。
• 开发一种数据驱动的、端到端的深度学习框架，联合学习焦点图估计与融合策略。
• 在保持或超越当前最优融合质量的同时，提升计算效率。
• 在两个或更多输入源上实现泛化，且融合结果与输入源顺序无关。
• 为医学影像和数码摄影等实际应用提供近实时的融合能力。

提出的方法

• 采用多源hourglass架构，结合编码器-解码器结构与跳跃连接，以保留空间细节。
• 使用通过高分辨率图像受控模糊化生成的合成多焦点数据集，进行端到端训练。
• 基于回归的损失函数，实现对活动水平度量（焦点图）与融合规则的联合学习。
• 提出两种变体：HF-Reg（基于回归）与HF-Seg（基于分割），两者均采用加权平均融合。
• 在包含100对图像的合成数据集上进行训练，使用PyTorch与GPU进行优化。
• 该方法与输入图像尺寸和源数量无关，可灵活应用于两个或更多输入图像。

实验结果

研究问题

• RQ1 深度神经网络是否能在无需手工设计组件的情况下，联合学习焦点图估计与融合规则？
• RQ2 端到端的hourglass架构是否在速度与准确率上优于传统的基于块或Siamese结构的融合网络？
• RQ3 基于数据驱动与回归的方法是否能跨多个输入源泛化，并保持高性能？
• RQ4 与现有SOTA多焦点图像融合方法相比，该方法在计算效率上表现如何？
• RQ5 该模型是否能有效融合含噪的多焦点输入，展现出对清洁数据之外的鲁棒性？

主要发现

• 所提出的HF-Reg与HF-Seg网络在合成与真实数据集上均达到或优于当前最优方法的性能。
• 与现有方法相比，该方法在推理时间上实现60倍加速，520×520图像在GPU上仅需0.0023秒。
• 在Lytro三源真实数据集上，HF-Seg变体产生了更优的视觉效果，尤其在减少融合过程中的误差累积方面表现突出。
• HF-Reg模型对噪声输入表现出鲁棒性，即使在噪声数据上训练，也能生成清晰、高质量的全焦图像。
• 该网络在不同图像尺寸与输入源数量下均表现出良好泛化能力，在130×130、260×260与520×520分辨率下性能一致。
• 通过受控模糊化生成的合成数据训练协议，实现了无成本的高质量、无限量训练样本。