[論文レビュー] VIFB: A Visible and Infrared Image Fusion Benchmark

Xingchen Zhang, Ping Ye+1 more|arXiv (Cornell University)|Feb 9, 2020

Advanced Image Fusion Techniques参考文献 61被引用数 8

ひとこと要約

本論文は、21組の多様な画像ペア、20種類の最先端の融合アルゴリズムを統合した一貫したコードライブラリ、13の評価指標を備えた、可視光および赤外線画像融合のための最初の包括的ベンチマークであるVIFBを紹介する。このベンチマークにより、標準化され再現可能な性能比較が可能となり、深層学習ベースの手法が現在のところ従来の手法を上回っていないこと、および指標依存の性能変動があることから、質的・定量的評価の両方が不可欠であることが明らかになった。

ABSTRACT

Visible and infrared image fusion is one of the most important areas in image processing due to its numerous applications. While much progress has been made in recent years with efforts on developing fusion algorithms, there is a lack of code library and benchmark which can gauge the state-of-the-art. In this paper, after briefly reviewing recent advances of visible and infrared image fusion, we present a visible and infrared image fusion benchmark (VIFB) which consists of 21 image pairs, a code library of 20 fusion algorithms and 13 evaluation metrics. We also carry out large scale experiments within the benchmark to understand the performance of these algorithms. By analyzing qualitative and quantitative results, we identify effective algorithms for robust image fusion and give some observations on the status and future prospects of this field.

研究の動機と目的

• 可視光および赤外線画像融合のための標準化されたベンチマークの欠如が、アルゴリズムの客観的比較を妨げている問題に対処する。
• 20件の最近の融合アルゴリズムを統合し、一貫したインターフェースを持つ相互運用性の高いコードライブラリを構築する。
• 単一指標への依存を避けるために、多角的な性能評価を可能にする13の評価指標を提供する。
• 再現可能な研究を支援し、今後のアルゴリズム開発を促進するため、公開可能なデータセットと結果を提供する。
• 既存手法の性能と効率を分析し、分野における今後の研究方向を導く。

提案手法

• VIFBベンチマークは、公共のデータソースおよびトラッキングデータセットから収集した21組の可視光-赤外線画像ペアを用いて構築された。屋内・屋外・低照度・過露出など、多様な状況をカバーしている。
• 20件の最近の融合アルゴリズム（マルチスケール、深層学習ベース、部分空間ベース、サリエンシーに基づく手法など）を統合する一貫したコードライブラリを開発し、入出力インターフェースを統一した。
• 人間の視覚認識にインspiredされた指標（例：$Q_{CB}$, $Q_{CV}$）および情報理論的測定指標を含む13の評価指標を実装し、包括的な性能分析を可能にした。
• 21組の画像ペアすべてに対して広範な実験を実施し、すべての20種類のアルゴリズムが13の指標すべてで評価され、完全な性能プロファイルが生成された。
• 実行時間の分析により計算効率を評価し、すべてのアルゴリズムに対して1画像ペアあたりの実行時間を測定した。
• すべての実験結果（融合画像および指標スコア）を公開し、再現可能性を確保するとともに、今後のベンチマーク作成を容易にした。

実験結果

リサーチクエスチョン

• RQ1 標準化され多様なデータセットと一貫した評価プロトコルのもとで、異なる融合アルゴリズムの性能はどのように異なるか？
• RQ2 深層学習ベースの融合手法は、可視光-赤外線融合において、非学習ベースの手法をどの程度上回っているか？
• RQ3 定量的指標の順位付けは、融合画像品質の質的視覚的評価とどの程度整合しているか？
• RQ4 異なる融合アルゴリズムのカテゴリ間で、計算効率のトレードオフはどのようなものか？また、リアルタイム応用に与える影響は？
• RQ5 どの評価指標が最も信頼性が高く補完的か？なぜ多指標評価が不可欠なのか？

主な発見

• 深層学習ベースの融合アルゴリズムは、強力な表現能力を有するが、現在のところ非学習ベースの手法を上回る性能を示していない。
• 異なる評価指標間で顕著な性能差が認められ、1つの指標が全体の融合品質を信頼性高く捉えていないことが示された。
• 質的評価と定量的評価がしばしば食い違う—例として、NSCT_SR および LatLRR は $Q_{CB}$, $Q_{CV}$ といった認識に基づく指標では低性能であるが、視覚的には妥当な結果を示す—多指標評価の必要性が浮き彫りになった。
• 最も速いアルゴリズム（IFEVIP）は1画像ペアあたり0.17秒で実行可能であるのに対し、最も遅い（LatLRR）は271.04秒で、性能差は1,500倍に達する。
• マルチスケール手法（例：GFF）は非常に効率的（0.41秒/ペア）である一方、CNN や DLF といった深層学習モデルはGPUアクセcelerationでさえも著しく遅く（18.62–31.76秒/ペア）、性能差が顕著である。
• 実行時間はリアルタイム応用における主要なボトル neck である：LatLRR や NSCT_SR（94.65秒/ペア）は、低遅延処理を要するトラッキングや検出システムには現実的ではない。