[論文レビュー] Semantic Single-Image Dehazing

Ziang Cheng, Shaodi You+2 more|arXiv (Cornell University)|Apr 16, 2018

Image Enhancement Techniques参考文献 23被引用数 15

ひとこと要約

本稿では、高レベルのセマンティック特徴を活用して自然な色の事前知識と環境イルミネーションを推定することで、彩度が高く色がついた空や色付きの霞みが強い状況を含む困難な状況下でも、デハジング性能を著しく向上させる意味的単一画像デハジング手法を提案する。深層畳み込みニューラルネットワークにセマンティックコンテキストを統合することで、合成データセットにおいて最先端の結果を達成し、色の過剰飽和に対する可視的品質と耐性の面で先行手法を上回る。

ABSTRACT

Single-image haze-removal is challenging due to limited information contained in one single image. Previous solutions largely rely on handcrafted priors to compensate for this deficiency. Recent convolutional neural network (CNN) models have been used to learn haze-related priors but they ultimately work as advanced image filters. In this paper we propose a novel semantic ap- proach towards single image haze removal. Unlike existing methods, we infer color priors based on extracted semantic features. We argue that semantic context can be exploited to give informative cues for (a) learning color prior on clean image and (b) estimating ambient illumination. This design allowed our model to recover clean images from challenging cases with strong ambiguity, e.g. saturated illumination color and sky regions in image. In experiments, we validate our ap- proach upon synthetic and real hazy images, where our method showed superior performance over state-of-the-art approaches, suggesting semantic information facilitates the haze removal task.

研究の動機と目的

• クリア画像推定における曖昧性を低減するため、単一画像デハジングの不適切な性質に対処するために、高レベルのセマンティック事前知識を統合すること。
• しばしば過剰な彩度と誤った色バランスを引き起こす、手作業で設計された低レベル事前知識の限界を克服すること。
• 強い霞み、色付きの大気光、彩度が高い空領域などの困難な状況でのパフォーマンスを向上させること。
• セマンティック理解が、低レベル画像特徴のみに依存する手法では達成できない範囲でデハジングを向上させることを示すこと。

提案手法

• 本手法は、入力の霞み画像から抽出されたセマンティック特徴を用いて、クリア画像と環境イルミネーションを同時に予測する、完全にエンドツーエンドのCNNを採用する。
• セマンティック事前知識は、訓練データから学習され、物体クラス（例：空、植生）が自然な色とイルミネーションの強力な手がかりを提供する。
• モデルは、セマンティック埋め込みを統合して色の事前知識推定を改善するためのカラーモジュールを用いることで、対象固有の色回復の信頼性を向上させる。
• グローバル推定モジュールは、セマンティック特徴と低レベル特徴を用いて環境イルミネーションを予測し、グレースケールの大気光仮定に依存するのを軽減する。
• ネットワークは、実際のクリア画像と環境イルミネーションが与えられた合成霞み画像で訓練され、知覚的損失と再構成損失が使用される。
• アブレーションスタディでは、セマンティックモジュールの貢献を明確に分離し、真値の環境イルミネーションを入力とするベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 高レベルのセマンティック特徴は、単一画像デハジングにおける色の事前知識推定の正確性を向上させることができるか？
• RQ2 強い色のシフトが生じる状況下で、セマンティックコンテキストは環境イルミネーション回復をどのように向上させるか？
• RQ3 低レベル事前知識に基づく手法と比較して、セマンティックガイドは過剰な彩度と色の歪みをどの程度低減するか？
• RQ4 明るい表面や極めて濃い霞みの空領域のような曖昧な状況でも、セマンティック事前知識はデハジング性能を向上させることができるか？

主な発見

• 本手法は、テストセットAにおいてPSNR 27.0827、SSIM 0.9024を達成し、真値の環境イルミネーションを入力とするベースラインモデル（PSNR: 23.2918、SSIM: 0.7762）を著しく上回った。
• 従来の手法（例：DCP）が過剰に彩度が高く不自然な結果を出すような、重度の霞みと強い色のシフトが生じる状況でも、本モデルは空領域の自然な色を効果的に回復できた。
• 視覚的比較により、色付きの霞みを含む複雑なシーンにおいて、最先端の手法よりもアーティファクトが少なく、より良いホワイトバランスを実現していることが示された。
• アブレーションスタディにより、セマンティック特徴が極めて重要であることが確認された。真値の環境イルミネーションを入力しても、セマンティックガイドなしのベースラインは著しく劣る性能を示した。
• 本手法は、合成データでのみ学習されたにもかかわらず、同様のセマンティッククラス（例：道路シーン）の実世界の霞み画像に対しても良好に一般化され、最先端の手法と同等の性能を達成した。