[論文レビュー] Haze Visibility Enhancement: A Survey and Quantitative Benchmarking

Yu Li, Shaodi You+2 more|arXiv (Cornell University)|Jul 21, 2016

Image Enhancement Techniques被引用数 17

ひとこと要約

本稿では、物理的正確性のための真値を備えた新しい合成データセットを用いて、単一画像の除霧手法の包括的かつ定量的なベンチマークを提示する。学習ベースの手法（Fattal, 2014; Berman, 2016）が他の手法を上回ることを示し、濃い靭色ではダークチャnelプロパーが強い耐性を示す一方、ガンマ補正とカメラの非線形性は物理的正確性の面で依然として重要な課題である。

ABSTRACT

This paper provides a comprehensive survey of methods dealing with visibility enhancement of images taken in hazy or foggy scenes. The survey begins with discussing the optical models of atmospheric scattering media and image formation. This is followed by a survey of existing methods, which are grouped to multiple image methods, polarizing filters based methods, methods with known depth, and single-image methods. We also provide a benchmark of a number of well known single-image methods, based on a recent dataset provided by Fattal and our newly generated scattering media dataset that contains ground truth images for quantitative evaluation. To our knowledge, this is the first benchmark using numerical metrics to evaluate dehazing techniques. This benchmark allows us to objectively compare the results of existing methods and to better identify the strengths and limitations of each method.

研究の動機と目的

• 濃い靭色や霧のシーンにおける可視性向上技術について、多画像、偏光フィルター、深度情報あり、単一画像の手法を含めて体系的なサーベイを提供すること。
• 除霧分野における定量的評価の不足に応じ、客観的な比較が可能な真値画像を備えたベンチマークを導入すること。
• 物理ベースの合成データセットを生成し、真値のクリア画像とさまざまな濃度の靭色を備えたデータセットを提供することで、信頼性のある定量的評価を可能にすること。
• Fattalのデータセットと新しいベンチマークの両方で、数値指標を用いて代表的な単一画像除霧手法の性能を評価すること。
• 特に耐性と物理的妥当性の観点から、既存手法の強み・弱み・実用的トレードオフを同定すること。

提案手法

• 大気散乱モデル（I = J * t + A * (1 - t)）を用いて、劣化した靭色を模擬する基盤とし、Jはシーンの放射輝度、tは透過率、Aは大気光を表す。
• Fattalのデータセット[1]を用い、物理ベースのレンダリングを用いて空間的に変化する靭色を模擬し、真値が明確に定義された新しい合成散乱媒体データセットを生成する。
• 平均絶対差（MAD）などの定量的指標を用いて、除霧出力と真値のクリア画像を比較する。
• ダークチャnelプロパー（He et al.）、Fattal（2008）、Berman（2016）、学習ベースの手法（Tang et al., Cai et al.）を含む12種類の代表的単一画像除霧手法を評価する。
• 評価パイプラインにトーンマッピングとガンマ補正の考慮を組み込み、物理的正確性への影響を評価する。
• さまざまな靭色密度下で、制御された条件下で客観的かつ再現可能に手法間を比較可能なベンチマークフレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 物理的にシミュレートされた靭色条件下で、真値画像に対する定量的評価において、異なる除霧手法の性能はどのように異なるか？
• RQ2 さまざまな靭色密度下で、プロパー依存手法（例：ダークチャnelプロパー）と学習ベース手法の相対的な強み・弱みは何か？
• RQ3 ガンマ補正やカメラの非線形性が除霧結果の物理的正確性に及ぼす影響はどの程度で、どのように適切に補正できるか？
• RQ4 どの靭色密度レベルで、大気光が優勢かつ透過率が著しく低下することで、シーンの反射率が回復不能になるか？
• RQ5 真値を備えた標準化されたベンチマークは、今後の除霧アルゴリズムの評価と開発をどのように改善できるか？

主な発見

• ベンチマークの結果から、Fattal（2014）とBerman（2016）が多数のテスト画像で最小の平均絶対差（MAD）値を達成しており、特にFattal（2014）はFlower2画像で最小のMAD 0.015を記録した。
• ダークチャnelプロパー（He et al., 2009）は濃い靭色において特に優れた性能を示し、Church画像ではMAD 0.036、Mansion画像ではMAD 0.034を達成した。
• Tang et al.（2014）やCai et al.（2016）のような学習ベースの手法は高い性能を示すが、ホワイトバランスの設定に敏感であり、実世界の応用において耐性が低下する傾向がある。
• Tarel（2009）やAncuti（2013）のような手法は、MAD値が高くなる（例：Church画像で0.173および0.188）ことから、再構成の忠実度が低いことが示された。
• 本研究では、透過率推定と大気光推定が極めて重要な要素であることが確認された。滑らかさ制約を導入することで、結果が著しく改善された。
• 分析から、濃い霧では透過率が0.1未満に低下し、シーンの反射率が大気光に強く覆い隠されることが判明した。その結果、回復はますます困難になり、物理的に限界に達する。