[论文解读] MFFW: A new dataset for multi-focus image fusion

Shuang Xu, Xiaoli Wei+3 more|arXiv (Cornell University)|Feb 12, 2020

Advanced Image Fusion Techniques参考文献 37被引用 56

一句话总结

本文提出了 MFFW，一个包含 defocus spread effect 的现实世界多焦融合数据集，由 19 对源图像对（以及 2 源情形的地面真值映射）组成，并评估了13种SOTA方法，以显示当前方法在含DSE场景中的表现不足。

ABSTRACT

Multi-focus image fusion (MFF) is a fundamental task in the field of computational photography. Current methods have achieved significant performance improvement. It is found that current methods are evaluated on simulated image sets or Lytro dataset. Recently, a growing number of researchers pay attention to defocus spread effect, a phenomenon of real-world multi-focus images. Nonetheless, defocus spread effect is not obvious in simulated or Lytro datasets, where popular methods perform very similar. To compare their performance on images with defocus spread effect, this paper constructs a new dataset called MFF in the wild (MFFW). It contains 19 pairs of multi-focus images collected on the Internet. We register all pairs of source images, and provide focus maps and reference images for part of pairs. Compared with Lytro dataset, images in MFFW significantly suffer from defocus spread effect. In addition, the scenes of MFFW are more complex. The experiments demonstrate that most state-of-the-art methods on MFFW dataset cannot robustly generate satisfactory fusion images. MFFW can be a new baseline dataset to test whether an MMF algorithm is able to deal with defocus spread effect.

研究动机与目标

• 在现实世界场景中，推动对多焦点图像融合（MFF）在 defocus spread effect (DSE) 下的评估。
• 提供一个新的数据集（MFFW），包含具有挑战性的现实世界 MFF 对和带注释的聚焦地图，以实现稳健基准测试。
• 评估经典方法和深度学习 MFF 方法在含有 DSE 的数据上的性能。
• 突出当前方法的局限性，并推动开发对 DSE 具备感知能力的融合方法。

提出的方法

• 通过从互联网收集 19 对多焦图像对来构建 MFFW，其中 13 对为两源集，6 对为多源集。
• 对源图像对进行配准，并使用 LabelMe 的人工标注为两源对提供地面真值聚焦地图。
• 为两源对提供编辑过的参考图像，以与人类视觉感知对齐。
• 使用无参考融合指标在 MFFW 上评估 13 种 SOTA 方法（9 种经典方法，4 种基于深度学习的方法）。
• 在 DL 实验中，在 NYU Depth V1 上训练 MMF-Net，以合成基于散焦的训练数据并生成聚焦地图。
• 使用 11 种无参考指标（MI、TE、NCIE、GBM、SF、SSBM、CBM、LIF、AG、MSD、GLD）来评估融合质量。

实验结果

研究问题

• RQ1 当前的 MFF 方法是否能够在现实世界场景中稳健处理 defocus spread effect？
• RQ2 在 MFFW 数据集上，深度学习的 MFF 模型是否优于经典变换/时域方法？
• RQ3 在 DSE 下，两源与多源（3+）MFF 任务的性能有何差异？
• RQ4 在评估 MFF 方法时，地面真值聚焦地图和参考图像在 DSE 下的局限性是什么？

主要发现

• 大多数最先进的方法在 MFFW 上难以稳健生成令人满意的融合图像。
• 基于 DL 的模型在 MFFW 数据集上未显示出对经典方法的明显优越性。
• MMF-Net 可能过拟合并且在某些对上可能失效。
• 在模拟数据上训练的 DL 模型可能对现实世界的含 DSE 场景泛化能力不足。
• MFFW 作为一个新的基准，用于测试 MMF 算法是否能够处理 DSE。
• 融合结果常因 DSE 出现伪影或聚焦边界处理不当。