[論文レビュー] Benchmarking Single Image Dehazing and Beyond

Boyi Li, Wenqi Ren+5 more|arXiv (Cornell University)|Dec 12, 2017

Image Enhancement Techniques参考文献 69被引用数 32

ひとこと要約

本稿では、5つの専用サブセットを有する合成および実世界の霞み画像を含む大規模なベンチマーク「RESIDE」を紹介する。複数の指標（完全参照、ノーリファレンス、主観的、タスク駆動）を用いた最先端の霞消去手法の評価により、どのモデルもすべての基準で優れているとは限らず、MSCNNは優れた検出性能を示し、AOD-Netは最も効率的であることが判明した。

ABSTRACT

We present a comprehensive study and evaluation of existing single image dehazing algorithms, using a new large-scale benchmark consisting of both synthetic and real-world hazy images, called REalistic Single Image DEhazing (RESIDE). RESIDE highlights diverse data sources and image contents, and is divided into five subsets, each serving different training or evaluation purposes. We further provide a rich variety of criteria for dehazing algorithm evaluation, ranging from full-reference metrics, to no-reference metrics, to subjective evaluation and the novel task-driven evaluation. Experiments on RESIDE shed light on the comparisons and limitations of state-of-the-art dehazing algorithms, and suggest promising future directions.

研究の動機と目的

• 多様な条件下で単一画像霞消去アルゴリズムを評価する包括的で大規模なベンチマークの不足を解消すること。
• 従来のPSNRやSSIMに加え、ノーリファレンス、主観的、タスク駆動評価を含む豊富な指標を用いて最先端の霞消去手法を評価すること。
• 既存の霞消去手法の知覚的品質、実世界の霞み画像への一般化能力、および下流のビジョンタスクにおける性能という観点から、強みと限界を特定すること。
• 純粋な再構成ベースの指標よりも、人間の知覚と高レベルのタスク性能を重視する評価プロトコルの導入を提唱すること。
• 将来的な研究が、より強固で知覚に整合し、応用指向の霞消去モデルへと向かうように導くこと。

提案手法

• 5つのサブセット（RESIDE-1～-5の合成データセット5つと、実世界の霞み画像データセットRTTS）を有する大規模なベンチマーク「RESIDE」を提案。各サブセットは、異なる訓練および評価目的を果たす。
• 大気散乱モデルを物理的基盤として採用：$ I(x) = J(x)t(x) + A(1 - t(x)) $ ここで $ J(x) $ は霞なし画像、$ A $ は大気光、$ t(x) $ は透過率マップ。
• 多様な評価基準を適用：完全参照指標（PSNR、SSIM）、ノーリファレンス指標（SSEQ、BLIINDS-II）、主観的評価、およびRTTS上で物体検出（Faster R-CNN、YOLO-V2、SSD）を用いたタスク駆動評価。
• AOD-Net、DehazeNet、MSCNN、FRCNN などの深層学習ベースのモデルを用い、再構成と知覚的品質の両方を最適化した損失関数を適用してエンドツーエンドの霞消去と検出を実行。
• 複数の指標を用いたアブレーションスタディおよび比較分析により、さまざまな条件下でのモデル性能を評価。
• デヘイズド画像上の物体検出mAPを測定することで、画像品質指標を超えた実世界の有用性を評価するタスク駆動評価を導入。

実験結果

リサーチクエスチョン

• RQ1 最先端の霞消去モデルは、PSNR、SSIM、ノーリファレンス指標、主観的知覚といった多様な評価基準において、どのように性能を発揮するか？
• RQ2 合成データで訓練された霞消去モデルは、実世界の霞み画像へどの程度一般化できるか。また、その影響は下流のビジョンタスクにどのように現れるか？
• RQ3 画像品質、計算効率、および物体検出のような高レベルのビジョンタスクにおける性能のバランスを最も良く達成するのはどのモデルか？
• RQ4 従来のプリミティブ（例：暗いチャネル、色の減衰）は、深層学習ベースの手法と比較して、人間の知覚とどの程度相関しているか？
• RQ5 物体検出のmAPのようなタスク駆動評価は、従来の画像品質指標よりも信頼性が高く現実的であると見なせるか？

主な発見

• AOD-Netは、評価済みのすべてのモデルの中で最も高い効率性を示し、リアルタイム応用に適している。
• MSCNNはRTTSデータセットで最良の検出性能を示し、SSD-512を用いてmAP 47.76を達成した。これは、実世界の霞み画像への優れた一般化能力を示している。
• DehazeNetは、最も優れた知覚的損失スコア（60.01）を達成し、人間の視覚的知覚と強い整合性を示している。
• AOD-NetとDehazeNetはPSNRおよびSSIM指標でリードし、AOD-NetはRESIDE-1サブセットで25.20のPSNRを達成した。これは優れた再構成品質を示している。
• DCP、FVR、BCCR などの古典的プリミティブに基づく手法は、ノーリファレンス指標（例：BCCRのBLIINDS-IIスコア74.07）で競争力のある性能を示し、知覚的利点がある可能性がある。
• どのモデルもすべての評価基準で優れているとは限らず、再構成忠実度、知覚的品質、および下流タスク性能の間にはトレードオフが存在することが明らかになった。