[論文レビュー] Multi-focus Image Fusion: A Benchmark

Xingchen Zhang|arXiv (Cornell University)|May 3, 2020

Advanced Image Fusion Techniques参考文献 78被引用数 18

ひとこと要約

本論文は、105組の画像、30種類のアルゴリズム、20種類の評価指標を備えた、マルチフォーカス画像統合（MFIF）のための最初の包括的ベンチマークを紹介する。実際の困難なデータセットでは、深層学習ベースの手法が、模擬的な学習データに起因する一般化能力の低さから、従来の手法に劣ることが明らかになった。

ABSTRACT

Multi-focus image fusion (MFIF) has attracted considerable interests due to its numerous applications. While much progress has been made in recent years with efforts on developing various MFIF algorithms, some issues significantly hinder the fair and comprehensive performance comparison of MFIF methods, such as the lack of large-scale test set and the random choices of objective evaluation metrics in the literature. To solve these issues, this paper presents a multi-focus image fusion benchmark (MFIFB) which consists a test set of 105 image pairs, a code library of 30 MFIF algorithms, and 20 evaluation metrics. MFIFB is the first benchmark in the field of MFIF and provides the community a platform to compare MFIF algorithms fairly and comprehensively. Extensive experiments have been conducted using the proposed MFIFB to understand the performance of these algorithms. By analyzing the experimental results, effective MFIF algorithms are identified. More importantly, some observations on the status of the MFIF field are given, which can help to understand this field better.

研究の動機と目的

• マルチフォーカス画像統合（MFIF）における公平かつ包括的な性能比較のための標準化されたベンチマークの欠如に対処すること。
• Lytroのような既存のデータセットが20組の画像ペアしか含まず、強いボケの広がり効果が欠如しているという限界を克服すること。
• 多様なアルゴリズム、評価指標、大規模なテストセットを統合した統一されたプラットフォームを提供し、客観的な性能評価を可能にすること。
• すべての統合されたアルゴリズムを一貫した条件下で評価することで、MFIFにおける真の最先端技術を特定すること。
• 深層学習ベースのMFIF手法が実世界データにおいて示す一般化能力と、その実際の性能とのギャップを浮き彫りにすること。

提案手法

• Lytro、MFFW、SavicらおよびAymazらのデータセットを含む、105組のマルチフォーカス画像ペアからなる大規模なテストデータセットを構築し、多様性と課題の高さを向上させた。
• 空間ドメインベース、変換ドメインベース、深層学習ベースの手法を含む、30の最先端MFIFアルゴリズムを収集・統合した。
• 情報理論（例：MI、NMI）、構造的類似性（SSIM、Q_Y）、品質評価（PSNR、VIF、FMI）をカバーする20の目的評価指標を実装した。
• 同じ条件下で全アルゴリズムを評価するため、ベンチマークを用いた広範な定量的および定性的実験を実施した。
• 一貫した学習および推論プロトコルを採用（オンラインモデル更新なし）し、深層学習手法と非深層学習手法の間で公平な比較を実現した。
• Lytro、MFFWなどのサブセットを複数用いて性能を分析し、アルゴリズムの一般化能力およびロバストネスを評価した。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのMFIF手法は、大規模で多様性に富み、実世界の課題を含むデータセットにおいて、従来の手法に比べてどのように性能を発揮するか？
• RQ2 現在のMFIF評価指標は、異なるアルゴリズム間で一貫性があり、信頼性の高い順位付けを提供できるか？
• RQ3 なぜ多くの深層学習ベースのMFIF手法が、ボケの広がり効果が顕著でないLytroのようなデータセットに限っては一般化できないのか？
• RQ4 統一されたベンチマークプラットフォームは、従来の孤立した研究と比較して、MFIFアルゴリズムの評価の公平性と包括性を向上させられるか？
• RQ5 異なるMFIFアルゴリズムにおいて、定性的な視覚的結果と定量的指標順位はどれほど一貫性を示すか？

主な発見

• DPRLなどの深層学習ベースのMFIF手法は、先行研究で最先端とされたが、MFIFBデータセット全体では第5位にとどまり、その実態が明らかになった。
• 空間ドメインおよび変換ドメインベースの従来手法は、MFFWのようなボケの広がり効果が顕著なサブセットにおいて、深層学習ベースの手法を上回った。
• 性能の差は、多くの深層学習モデルが現実のボケの広がり効果を欠いた模擬的データで学習されていることに起因し、実世界のシナリオへの一般化能力が制限されているためである。
• 評価結果から、どの指標も一貫して同じ順位付けを行わないことが判明した。異なる指標が異なる手法を好む傾向にあり、複数指標による評価の必要性が浮き彫りになった。
• 定性的な結果と定量的結果がしばしば一致せず、MFIF性能の評価には視覚的検査と数値的指標の両方を併用する必要があることが示された。
• MFIFBベンチマークは、先行研究の性能主張がしばしば小規模なデータセットと偏った指標選択に基づいており、深層学習モデルの能力が過大評価されていたことが明らかになった。