[論文レビュー] Gated Fusion Network for Single Image Dehazing

Wenqi Ren, Lin Ma+5 more|arXiv (Cornell University)|Mar 31, 2018

Image Enhancement Techniques参考文献 39被引用数 61

ひとこと要約

GFN は、濁った画像から得られる 3 つの派生入力（White Balance、Contrast Enhancement、Gamma Correction）と学習済みの信頼マップを組み合わせるエンドツーエンドのゲート付き融合ネットワークを用い、明示的な透過率推定や大気光推定なしで直接減透光化を実現し、マルチスケールリファインメントでハローを低減します。

ABSTRACT

In this paper, we propose an efficient algorithm to directly restore a clear image from a hazy input. The proposed algorithm hinges on an end-to-end trainable neural network that consists of an encoder and a decoder. The encoder is exploited to capture the context of the derived input images, while the decoder is employed to estimate the contribution of each input to the final dehazed result using the learned representations attributed to the encoder. The constructed network adopts a novel fusion-based strategy which derives three inputs from an original hazy image by applying White Balance (WB), Contrast Enhancing (CE), and Gamma Correction (GC). We compute pixel-wise confidence maps based on the appearance differences between these different inputs to blend the information of the derived inputs and preserve the regions with pleasant visibility. The final dehazed image is yielded by gating the important features of the derived inputs. To train the network, we introduce a multi-scale approach such that the halo artifacts can be avoided. Extensive experimental results on both synthetic and real-world images demonstrate that the proposed algorithm performs favorably against the state-of-the-art algorithms.

研究の動機と目的

• 減透光化を透過 t(x) や大気光 A の推定を伴わずに動機づけ、 priors の不正確さによるアーティファクトを回避する。
• 複数の派生入力を活用して視認性と色を回復するフュージョンベースのアーキテクチャを導入する。
• 派生入力の貢献をゲートするピクセル-wise な信頼マップを開発して頑健な減透光化を実現する。
• ハローアーティファクトを抑制し復元品質を向上させるためのマルチスケール訓練戦略を組み込む。

提案手法

• 濁り画像から White Balanced (WB)、Contrast Enhanced (CE)、Gamma Corrected (GC) の 3 つの入力を導出する。
• エンコーダ-デコーダネットワークを用い、スキップ接続で特徴を抽出し、派生入力の信頼マップを再構成することを学習する。
• 最終的な減透光画像をゲート付き融合として計算する： J = C_wb ∘ I_wb + C_ce ∘ I_ce + C_gc ∘ I_gc, ここで ∘ は要素ごとの乗算を表す。
• マルチスケールの損失を用いて各スケールで MSE を適用し、シャープな画像のピラミッドを形成してハローアーティファクトを低減する。
• 任意で判別器を用いた敵対的損失を組み込み、よりシャープで現実的な出力を促進する（GAN フレームワーク）。
• 透過 t(x) や大気光 A の推定を伴わずエンドツーエンドで訓練し、 Priors の誤った推定によるアーティファクトを回避する。

実験結果

リサーチクエスチョン

• RQ1 単一の濁り画像から派生入力を組み合わせるゲート付き融合フレームワークは、透過と大気光の推定に依存する手法を上回ることができるのか。
• RQ2 学習されたピクセル-wise 信頼マップは、減透光化のために各派生入力から最も有益な領域を効果的に選択できるのか。
• RQ3 マルチスケール訓練戦略はハローアーティファクトを減らし、さまざまな霧のレベルで復元品質を向上させるのか。
• RQ4 提案手法は、PSNR および SSIM の点で合成画像と実世界画像に対して最新の減透光法と比較してどのようか。

主な発見

• 本手法は、合成画像および実世界の濁り画像の両方において最先端の手法と良好な性能を達成する。
• マルチスケールのリファインメントはハローアーティファクトを抑え、単一スケール variantes に比べてエッジ忠実度を向上させる。
• 学習された信頼マップによるゲーティングは色の歪みを低減し、重要なシーンのディテールを保持する。
• NVIDIA K80 GPU で 640×480 の画像を約 0.3 秒で処理可能で、効率性を示す。
• 敵対的損失を用いた訓練は、場合によっては知覚品質をさらに向上させつつ、他の場合は高い SSIM を維持する。