[論文レビュー] Benchmarking and Comparing Multi-exposure Image Fusion Algorithms

Xingchen Zhang|arXiv (Cornell University)|Jul 30, 2020

Advanced Image Fusion Techniques参考文献 75被引用数 5

ひとこと要約

本論文は、100組の画像ペア、16種類のアルゴリズム、20種類の評価指標、1600枚の合成画像、およびソフトウェアツールキットを備えた、マルチ露出画像統合（MEF）のための最初の包括的ベンチマークであるMEFBを紹介する。これにより、従来手法およびディープラーニングベースのMEF手法の間で、公平で再現可能な性能比較が可能となり、ディープラーニング手法が一貫して従来手法を上回るわけではないこと、および損失関数における複数の指標の使用の重要性が明らかになった。

ABSTRACT

Multi-exposure image fusion (MEF) is an important area in computer vision and has attracted increasing interests in recent years. Apart from conventional algorithms, deep learning techniques have also been applied to multi-exposure image fusion. However, although much efforts have been made on developing MEF algorithms, the lack of benchmark makes it difficult to perform fair and comprehensive performance comparison among MEF algorithms, thus significantly hindering the development of this field. In this paper, we fill this gap by proposing a benchmark for multi-exposure image fusion (MEFB) which consists of a test set of 100 image pairs, a code library of 16 algorithms, 20 evaluation metrics, 1600 fused images and a software toolkit. To the best of our knowledge, this is the first benchmark in the field of multi-exposure image fusion. Extensive experiments have been conducted using MEFB for comprehensive performance evaluation and for identifying effective algorithms. We expect that MEFB will serve as an effective platform for researchers to compare performances and investigate MEF algorithms.

研究の動機と目的

• マルチ露出画像統合（MEF）アルゴリズムの公平で包括的な性能評価のための標準化されたベンチマークが不足しているという問題に取り組む。
• 従来手法およびディープラーニングベースのアプローチを含む、多様なMEF手法間での一貫性のある比較を可能にする。
• 実装の障壁を低減し、研究を加速するために、統一されたソフトウェアツールキットと事前計算済みの合成画像を提供する。
• 体系的な評価を通じて、既存のMEFアルゴリズムの性能的ギャップや制限を特定する。

提案手法

• 本ベンチマークは、多様なシーンと照明条件から収集された100組のマルチ露出画像ペアを含み、広範な代表性を確保する。
• ピクセルベース、パッチベース、エッジ保持型、マルチスケール、最適化ベース、ディープラーニングベースの手法を含む、16種類の最先端MEFアルゴリズムを統合する。
• PSNR、SSIM、MEF-SSIM、MI、Qファクター、VIFなど、複数の視点から画像品質を評価するための合計20種類の評価指標を用いる。
• ソフトウェアツールキットは、入出力インターフェースと実行ワークフローを標準化し、実験の容易な統合と再現性を実現する。
• すべての1600枚の合成画像（16アルゴリズム × 100画像ペア）は、評価への直接利用を目的として公開されている。
• 本ベンチマークは拡張性を備えており、将来の新しいアルゴリズム、画像、指標の追加を可能としている。

実験結果

リサーチクエスチョン

• RQ1 標準化されたデータセットと評価指標の下で、従来手法とディープラーニングベースのMEFアルゴリズムの性能はどのように比較されるか？
• RQ2 異なる評価指標が、MEFアルゴリズムの順位付けにどの程度異なる影響を及えるか？
• RQ3 一部のディープラーニングベースのMEF手法が、最先端の性能を謳っているにもかかわらず、なぜ従来手法を上回らないのか？
• RQ4 ディープラーニングベースのMEF手法における損失関数の選択が、複数の指標にわたる性能とどの程度相関するか？
• RQ5 統一されたベンチマークプラットフォームは、MEFアルゴリズムの評価における再現性と公平性を顕著に向上させることができるか？

主な発見

• IFCNNなどのディープラーニングベースのMEF手法は競争力のある性能を示すが、MEFNet や MEFCNN などの他の手法は、従来手法を一貫して上回らない。
• 最適化ベース手法のMEFOptは著しく遅く、1画像ペアあたり約419秒を要するため、計算上のボトルネックが顕在化している。
• どの1つのMEFアルゴリズムも、20の評価指標すべてで優位に立つことはなく、性能は指標に強く依存することが判明した。
• MEF-SSIM指標だけでは、ディープラーニングベースのMEFモデルの評価は不十分であり、他の指標を用いることで性能のばらつきが顕著に現れる。
• 本ベンチマークにより、MTI や GFF といった従来手法が依然として非常に競争力があることが明らかになり、ディープラーニングが常に優れた結果をもたらすという仮定に疑問が呈された。
• 特に非参照指標（EN、FMI、QNCIEなど）を複数含めることで、より堅牢で包括的な性能評価が可能になる。