[论文解读] Benchmarking and Comparing Multi-exposure Image Fusion Algorithms

Xingchen Zhang|arXiv (Cornell University)|Jul 30, 2020

Advanced Image Fusion Techniques参考文献 75被引用 5

一句话总结

本论文提出了MEFB，这是首个针对多曝光图像融合（MEF）的综合性基准，包含100对图像、16种算法、20项评估指标、1600幅融合图像以及一个软件工具包。该基准支持对传统方法与基于深度学习的MEF方法进行公平、可复现的性能比较，揭示了深度学习方法并不总是优于传统方法，并强调在损失函数中使用多种指标的重要性。

ABSTRACT

Multi-exposure image fusion (MEF) is an important area in computer vision and has attracted increasing interests in recent years. Apart from conventional algorithms, deep learning techniques have also been applied to multi-exposure image fusion. However, although much efforts have been made on developing MEF algorithms, the lack of benchmark makes it difficult to perform fair and comprehensive performance comparison among MEF algorithms, thus significantly hindering the development of this field. In this paper, we fill this gap by proposing a benchmark for multi-exposure image fusion (MEFB) which consists of a test set of 100 image pairs, a code library of 16 algorithms, 20 evaluation metrics, 1600 fused images and a software toolkit. To the best of our knowledge, this is the first benchmark in the field of multi-exposure image fusion. Extensive experiments have been conducted using MEFB for comprehensive performance evaluation and for identifying effective algorithms. We expect that MEFB will serve as an effective platform for researchers to compare performances and investigate MEF algorithms.

研究动机与目标

• 为多曝光图像融合（MEF）算法的公平且全面的性能评估提供标准化基准。
• 支持对包括传统方法与基于深度学习的方法在内的多种MEF方法进行一致比较。
• 提供统一的软件工具包和预计算的融合图像，以降低实现门槛并加速研究进程。
• 通过系统性评估识别现有MEF算法在性能上的差距与局限性。

提出的方法

• 基准包含从多样化场景和光照条件下收集的100对多曝光图像，以确保广泛的代表性。
• 整合了16种最先进的MEF算法，涵盖基于像素、基于块、边缘保持、多尺度、基于优化以及基于深度学习的方法。
• 使用总计20项评估指标（如PSNR、SSIM、MEF-SSIM、MI、Q因子、VIF等）从多个角度评估图像质量。
• 软件工具包标准化了输入/输出接口与执行工作流，支持实验的便捷集成与可复现性。
• 所有1600幅融合图像（16种算法 × 100对图像）均公开提供，可直接用于评估。
• 该基准支持可扩展性，允许未来添加新的算法、图像和指标。

实验结果

研究问题

• RQ1 在标准化数据集和评估指标下，传统方法与基于深度学习的MEF算法在性能上如何比较？
• RQ2 不同评估指标在对MEF算法进行排名时，其结果差异有多大？
• RQ3 为何一些基于深度学习的MEF方法尽管声称达到最先进水平，却仍无法超越传统算法？
• RQ4 基于深度学习的MEF方法中，损失函数的选择与在多项指标下的性能表现之间存在何种关联？
• RQ5 统一的基准平台是否能显著提升MEF算法评估的可复现性与公平性？

主要发现

• 基于深度学习的MEF方法（如IFCNN）表现出具有竞争力的性能，但其他方法（如MEFNet和MEFCNN）并未始终优于传统算法。
• 基于优化的方法MEFOpt速度显著较慢，每对图像约需419秒，凸显了计算瓶颈问题。
• 没有单一MEF算法在全部20项评估指标中均占优，表明性能高度依赖于所选指标。
• 仅使用MEF-SSIM指标不足以全面评估基于深度学习的MEF模型，因为其性能在使用其他指标时差异显著。
• 该基准表明，传统算法（如MTI和GFF）依然具有很强竞争力，挑战了‘深度学习始终表现更优’的假设。
• 引入多种指标（尤其是无参考指标如EN、FMI和QNCIE）可提供更稳健、更全面的性能评估。