[論文レビュー] Joint Transmission Map Estimation and Dehazing using Deep Networks

He Zhang, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Aug 2, 2017

Image Enhancement Techniques参考文献 66被引用数 39

ひとこと要約

本論文は、定常的大気光の仮定を緩和することで、一括して透過率マップ推定と単一画像の霞まし除去をエンド・トゥ・エンドで行う統合的深層畳み込みニューラルネットワークフレームワークを提案する。勾配損失および adversarial 損失を用いたマルチタスク学習により、合成データおよび現実世界の霞まし画像の両方で、リアルタイム推論（18 FPS）と優れた視覚的品質を達成する最先端の霞まし除去性能を実現する。

ABSTRACT

Single image haze removal is an extremely challenging problem due to its inherent ill-posed nature. Several prior-based and learning-based methods have been proposed in the literature to solve this problem and they have achieved superior results. However, most of the existing methods assume constant atmospheric light model and tend to follow a two-step procedure involving prior-based methods for estimating transmission map followed by calculation of dehazed image using the closed form solution. In this paper, we relax the constant atmospheric light assumption and propose a novel unified single image dehazing network that jointly estimates the transmission map and performs dehazing. In other words, our new approach provides an end-to-end learning framework, where the inherent transmission map and dehazed result are learned directly from the loss function. Extensive experiments on synthetic and real datasets with challenging hazy images demonstrate that the proposed method achieves significant improvements over the state-of-the-art methods.

研究の動機と目的

• 単一画像の霞まし除去の固有の不適切な性質に対処するため、透過率マップと復元画像を同時に学習する。
• 透過率マップを別々に推定してから復元画像を計算する従来の2段階手法の制限を克服する。
• 定常的大気光の仮定を緩和し、ネットワーク内で空間的に変化する大気光の推定を可能にする。
• エッジの鋭さを保ち、ぼやけを回避するために、勾配損失と adversarial 損失を組み合わせることで、霞まし除去の品質を向上させる。
• 多様な霞まし画像に対して高い性能を維持しながら、リアルタイム推論（18 FPS）を実現する。

提案手法

• 1枚の霞まし入力から透過率マップと復元画像の両方を予測するマルチタスク深層畳み込みニューラルネットワークアーキテクチャを提案する。
• エンド・トゥ・エンド学習により、ネットワークが空間的に変化する大気光を暗黙的に学習できるように、定常的大気光の仮定を緩和する。
• 透過率マップに対するL1損失、復元画像に対するL1損失、勾配損失、adversarial 損失を含む組み合わせ損失関数を用い、エッジの鋭さと現実性を向上させる。
• 合成データセットを用いてエンド・トゥ・エンドで学習し、透過率マップと復元画像予測の両方を同時に最適化する。
• 判別器を用いた adversarial 学習を組み込み、復元出力の知覚的品質を向上させる。
• 標準的な画像劣化モデル（I(x) = J(x)t(x) + A(x)(1-t(x))) を、ネットワーク学習における微分可能制約として適用する。

実験結果

リサーチクエスチョン

• RQ1 透過率マップ推定と霞まし除去を同時に学習することで、2段階手法に比べて視覚的品質が向上するか？
• RQ2 定常的大気光の仮定を緩和することで、現実世界の霞まし画像における汎化性と性能が向上するか？
• RQ3 勾配損失と adversarial 損失を組み合わせることで、復元出力のぼやけを効果的に低減し、エッジの詳細を強化できるか？
• RQ4 提案されたエンド・トゥ・エンドフレームワークは、既存の最先端手法と比べて速度と精度でどのように差をつけるか？
• RQ5 微調整なしに、合成データで学習したモデルが現実世界の霞まし画像にどれほど一般化できるか？

主な発見

• 提案手法は、特にアーティファクトの低減、色の過飽和、残留霞の低減において、最先端手法に比べ顕著な視覚的改善を達成した。
• 現実世界の霞まし画像において、他の手法が失敗する濃い霞に覆われた中国語の文字など、隠れた詳細を効果的に回復した。
• 512×512の画像を18フレーム/秒で処理でき、最も高速な既存手法と同等のリアルタイム性能を示した。
• 定量的評価では、ベンチマークデータセットにおけるPSNRとSSIMの両面で、従来の学習ベース手法を上回った。
• アブレーションスタディにより、勾配損失と adversarial 損失の組み合わせがエッジの鋭さと知覚的品質を顕著に向上させることを確認した。
• 強力な一般化性能を示したが、類似したトレーニングサンプルが不足する稀な空の領域では失敗ケースが発生し、合成データの一般化の限界を示唆した。