[論文レビュー] MFFW: A new dataset for multi-focus image fusion

Shuang Xu, Xiaoli Wei+3 more|arXiv (Cornell University)|Feb 12, 2020

Advanced Image Fusion Techniques参考文献 37被引用数 56

ひとこと要約

この論文は、焦点拡散効果（DSE）を伴う実世界の多焦点画像融合データセット MFFW を紹介し、19組のソース画像ペア（2ソースの場合の正解フォーカスマップを含む）を用い、13時点の最先端手法を評価して、DSE が豊富なシーンでは現在の手法が難しいことを示します。

ABSTRACT

Multi-focus image fusion (MFF) is a fundamental task in the field of computational photography. Current methods have achieved significant performance improvement. It is found that current methods are evaluated on simulated image sets or Lytro dataset. Recently, a growing number of researchers pay attention to defocus spread effect, a phenomenon of real-world multi-focus images. Nonetheless, defocus spread effect is not obvious in simulated or Lytro datasets, where popular methods perform very similar. To compare their performance on images with defocus spread effect, this paper constructs a new dataset called MFF in the wild (MFFW). It contains 19 pairs of multi-focus images collected on the Internet. We register all pairs of source images, and provide focus maps and reference images for part of pairs. Compared with Lytro dataset, images in MFFW significantly suffer from defocus spread effect. In addition, the scenes of MFFW are more complex. The experiments demonstrate that most state-of-the-art methods on MFFW dataset cannot robustly generate satisfactory fusion images. MFFW can be a new baseline dataset to test whether an MMF algorithm is able to deal with defocus spread effect.

研究の動機と目的

• 実世界のシーンにおける DSE（焦点拡散効果）下での多焦点画像融合（MFF）の評価を動機付ける。
• 難易度の高い実世界の MFF ペアと注釈付きフォーカスマップを備えた新しいデータセット（MFFW）を提供し、堅牢なベンチマークを可能にする。
• DSE-rich なデータに対する古典的および深屜学習系 MFF 手法の性能を評価する。
• 現在の手法の限界を強調し、DSE 対応の融合アプローチの開発を促す。

提案手法

• インターネットから 19 組の多焦点画像ペアを収集し、13 組の2ソースと6 組のマルチソースのセットを構築する。
• 2ソースのペアを LabelMe による手動アノテーションで正解フォーカスマップを提供する。
• 2ソースのペアに対して人間の視覚認識に合わせるように編集した参照画像を提供する。
• 参照画像なしの融合指標を用いて MFFW 上で 13 の最先端手法（古典的 9、DL 系 4）を評価する。
• DL 実験では NYU Depth V1 上で MMF-Net を訓練して、デフォーカスベースの訓練データを合成しフォーカスマップを生成する。
• 融合品質を評価するために 11 のノンリファレンス指標（MI, TE, NCIE, GBM, SF, SSBM, CBM, LIF, AG, MSD, GLD）を用いる。

実験結果

リサーチクエスチョン

• RQ1 現在の MFF 手法は実世界のシーンにおける焦点拡散効果（DSE）を堅牢に扱えるのか。
• RQ2 MFFW データセット上で、深層学習系 MFF モデルは古典的な変換/空間領域法より優れているのか。
• RQ3 DSE 下で 2 ソースとマルチソース（3+）の MFF タスク間で性能はどう変化するのか。
• RQ4 評価における正解フォーカスマップと参照画像の限界は何か。

主な発見

• ほとんどの最先端手法は MFFW で堅牢に満足な融合画像を生成できない。
• DL ベースのモデルは MFFW データセット上で古典的手法を明確に上回らない。
• MMF-Net は過剰適合のリスクを抱え、いくつかのペアで機能を崩すことがある。
• シミュレーションデータで訓練した DL モデルは、実世界の DSE-rich なシーンへは一般化しにくい可能性がある。
• MFFW は MMF アルゴリズムが DSE に対処できるかを検証する新しいベンチマークとして機能する。
• Fused 結果は DSE によりアーチファクトやフォーカス境界の誤処理を示すことが多い。