[论文解读] Fast and Efficient Zero-Learning Image Fusion

Fayez Lahoud, Sabine Süsstrunk|arXiv (Cornell University)|May 9, 2019

Advanced Image Fusion Techniques参考文献 70被引用 10

一句话总结

本文提出了一种基于预训练神经网络和视觉显著性的实时图像融合方法，通过将图像分解为基础层和细节层实现融合。该方法在无需任务特定训练或大规模数据集的情况下，在热成像、医学影像和多焦点融合任务中均实现了视觉质量、客观指标和运行效率的最先进性能。

ABSTRACT

We propose a real-time image fusion method using pre-trained neural networks. Our method generates a single image containing features from multiple sources. We first decompose images into a base layer representing large scale intensity variations, and a detail layer containing small scale changes. We use visual saliency to fuse the base layers, and deep feature maps extracted from a pre-trained neural network to fuse the detail layers. We conduct ablation studies to analyze our method's parameters such as decomposition filters, weight construction methods, and network depth and architecture. Then, we validate its effectiveness and speed on thermal, medical, and multi-focus fusion. We also apply it to multiple image inputs such as multi-exposure sequences. The experimental results demonstrate that our technique achieves state-of-the-art performance in visual quality, objective assessment, and runtime efficiency.

研究动机与目标

• 通过利用学习到的图像先验，解决经典图像融合方法存在的亮度和色彩失真等局限性。
• 通过使用预训练网络而非从零开始训练，克服基于深度学习的融合方法计算成本高和数据依赖性强的问题。
• 在不重新训练或修改网络架构的前提下，实现对多样化融合任务（如热成像、医学影像、多焦点和多曝光）的泛化能力。
• 通过最小化计算开销，实现适合在低功耗或嵌入式系统中部署的实时性能。
• 开发一种轻量化、参数鲁棒的融合流水线，在不同分解滤波器、网络深度和权重构建方法下均能保持高质量输出。

提出的方法

• 使用双尺度分解滤波器将输入图像分解为基础层（大尺度强度变化）和细节层（小尺度特征）。
• 通过源图像计算的视觉显著性图来融合基础层，以确定强度信息的空间一致性和优先级。
• 通过从预训练卷积神经网络（如ResNet-50）中提取中间特征图来融合细节层，利用这些特征生成自适应融合权重。
• 应用引导滤波器平滑生成的权重图，确保与原始源图像的空间一致性并保留边缘结构。
• 通过加权和操作将融合后的基础层和细节层组合，重建最终的融合图像。
• 利用预训练网络学习到的特征而无需微调，实现跨多种图像模态和融合任务的零样本学习操作。

实验结果

研究问题

• RQ1 单个预训练网络提取的深度特征是否能在不微调的情况下有效泛化到多种图像融合任务？
• RQ2 分解滤波器的选择如何影响融合输出的质量和效率？
• RQ3 不同的权重构建方法和引导滤波器参数在多大程度上影响融合性能和鲁棒性？
• RQ4 该方法是否能在多幅输入图像（如多曝光序列）上保持高视觉质量和实时性能？
• RQ5 在视觉质量、客观指标和运行效率方面，该方法与最先进融合技术相比表现如何？

主要发现

• 所提方法在热成像、医学影像和多焦点图像融合基准测试中，均实现了视觉质量与客观评估指标（如PSNR、SSIM）的最先进水平。
• 运行时评估显示，该方法在所有对比技术中速度最快，即使在CPU上执行CNN前向传播，也仅带来极小的计算开销，归因于显著性与引导滤波操作的O(N)时间复杂度。
• 消融实验验证了对分解滤波器、网络深度和架构变化的鲁棒性，不同预训练模型（如ResNet-50）下均保持一致的性能表现。
• 该方法能良好泛化到多图像输入，成功融合多曝光序列，同时保留动态范围和边缘细节，定性结果已验证其有效性。
• 尽管未显式进行边界检测，引导滤波仍能生成一致的权重图，但在多焦点融合中可能出现轻微边界误判，提示可通过形态学后处理进一步优化。
• 当CNN推理从GPU切换至CPU时，该方法性能稳定且高效，运行时间仅增加2%（±0.3），支持在低功耗硬件上部署。