[论文解读] Multi-focus Image Fusion: A Benchmark

Xingchen Zhang|arXiv (Cornell University)|May 3, 2020

Advanced Image Fusion Techniques参考文献 78被引用 18

一句话总结

本文提出了首个针对多焦点图像融合（MFIFB）的综合性基准，包含105对图像、30种算法和20项评估指标。研究发现，与传统方法相比，基于深度学习的方法在具有挑战性的现实世界数据集上表现较差，主要原因在于其在缺乏显著散焦扩散效应的模拟训练数据上泛化能力不足。

ABSTRACT

Multi-focus image fusion (MFIF) has attracted considerable interests due to its numerous applications. While much progress has been made in recent years with efforts on developing various MFIF algorithms, some issues significantly hinder the fair and comprehensive performance comparison of MFIF methods, such as the lack of large-scale test set and the random choices of objective evaluation metrics in the literature. To solve these issues, this paper presents a multi-focus image fusion benchmark (MFIFB) which consists a test set of 105 image pairs, a code library of 30 MFIF algorithms, and 20 evaluation metrics. MFIFB is the first benchmark in the field of MFIF and provides the community a platform to compare MFIF algorithms fairly and comprehensively. Extensive experiments have been conducted using the proposed MFIFB to understand the performance of these algorithms. By analyzing the experimental results, effective MFIF algorithms are identified. More importantly, some observations on the status of the MFIF field are given, which can help to understand this field better.

研究动机与目标

• 解决多焦点图像融合（MFIF）领域缺乏标准化基准以实现公平且全面的性能比较的问题。
• 克服现有数据集（如Lytro）的局限性，后者仅包含20对图像且缺乏显著的散焦扩散效应。
• 提供一个统一平台，整合多样化的算法、评估指标和大规模测试集，以实现客观的性能评估。
• 通过在一致条件下评估所有集成算法，明确识别MFIF领域的真正最先进水平。
• 揭示基于深度学习的MFIF方法在真实世界数据上实际泛化能力与其宣称性能之间的差距。

提出的方法

• 构建一个包含105对多焦点图像的大型测试数据集，涵盖Lytro、MFFW以及Savic等人和Aymaz等人发布的数据集，以提升多样性与挑战性。
• 收集并整合30种最先进的MFIF算法，包括基于空域、变换域和深度学习的方法。
• 实现20项客观评估指标，涵盖信息论（如MI、NMI）、结构相似性（SSIM、Q_Y）以及质量评估（PSNR、VIF、FMI）。
• 利用该基准开展广泛的定量与定性实验，确保所有算法在相同条件下进行评估。
• 采用一致的训练与推理协议——不进行在线模型更新——以确保基于深度学习与非深度学习方法之间的公平比较。
• 在多个子集（如Lytro、MFFW）上分析性能，以评估算法的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 与传统方法相比，基于深度学习的MFIF方法在大规模、多样化且具有挑战性的现实世界数据集上的表现如何？
• RQ2 当前的MFIF评估指标在不同算法之间是否能提供一致且可靠的性能排名？
• RQ3 为何许多基于深度学习的MFIF方法在Lytro等缺乏显著散焦扩散效应的数据集之外无法实现良好泛化？
• RQ4 与以往孤立的研究相比，统一的基准平台是否能提升MFIF算法评估的公平性与全面性？
• RQ5 不同MFIF算法的定性视觉结果与定量指标排名之间的一致性如何？

主要发现

• 尽管在先前工作中被称为最先进方法，但基于深度学习的MFIF方法（如DPRL）在完整MFIFB数据集上仅排名第5。
• 传统方法（空域与变换域方法）在MFIFB数据集上优于基于深度学习的方法，尤其在MFFW等具有显著散焦扩散效应的子集上表现更优。
• 性能差距的根源在于，大多数深度学习模型在缺乏真实散焦扩散效应的模拟数据上进行训练，导致其在现实世界场景中泛化能力受限。
• 评估结果表明，没有单一指标能始终如一地对算法进行相同排序——不同指标倾向于偏好不同方法，凸显了多指标评估的必要性。
• 定性与定量结果常出现不一致，表明视觉观察与数值指标必须结合使用，才能全面评估MFIF性能。
• MFIFB基准揭示，以往的性能宣称往往基于小规模数据集和有偏见的指标选择，导致对深度学习模型能力的高估。