[論文レビュー] CANDY: Conditional Adversarial Networks based Fully End-to-End System for Single Image Haze Removal

Kunal Swami, Saikat Kumar Das|arXiv (Cornell University)|Jan 9, 2018

Image Enhancement Techniques参考文献 3被引用数 10

ひとこと要約

CANDYは、中間パrameter推定を経由せずに、はっきりした画像を直接予測する完全なエンドツーエンドの条件付き生成対抗ネットワーク（cGAN）を提案する。敵対的損失に知覚的品質を統合することで、CANDYは優れた視覚的忠実度を達成し、合成データおよび実世界データセットの両方で最先端の手法を上回る。これは、文献における最初の完全なエンドツーエンドのGANベースの除霧フレームワークである。

ABSTRACT

Single image haze removal is a very challenging and ill-posed problem. The existing haze removal methods in literature, including the recently introduced deep learning methods, model the problem of haze removal as that of estimating intermediate parameters, viz., scene transmission map and atmospheric light. These are used to compute the haze-free image from the hazy input image. Such an approach only focuses on accurate estimation of intermediate parameters, while the aesthetic quality of the haze-free image is unaccounted for in the optimization framework. Thus, errors in the estimation of intermediate parameters often lead to generation of inferior quality haze-free images. In this paper, we present CANDY (Conditional Adversarial Networks based Dehazing of hazY images), a fully end-to-end model which directly generates a clean haze-free image from a hazy input image. CANDY also incorporates the visual quality of haze-free image into the optimization function; thus, generating a superior quality haze-free image. To the best of our knowledge, this is the first work in literature to propose a fully end-to-end model for single image haze removal. Also, this is the first work to explore the newly introduced concept of generative adversarial networks for the problem of single image haze removal. The proposed model CANDY was trained on a synthetically created haze image dataset, while evaluation was performed on challenging synthetic as well as real haze image datasets. The extensive evaluation and comparison results of CANDY reveal that it significantly outperforms existing state-of-the-art haze removal methods in literature, both quantitatively as well as qualitatively.

研究の動機と目的

• 中間パrameter推定（例：透過率マップ、大気光）に依存する従来の除霧手法の限界を解消すること。これらはしばしば最終的な画像品質を低下させる。
• はでい画像を直接予測する完全なエンドツーエンドのディーブラーニングフレームワークを構築すること。これにより、中間段階の誤差伝搬を排除する。
• 生成的敵対ネットワークを活用して、知覚的画像品質を最適化プロセスに組み込むこと。これにより、現実的で視覚的に魅力的な出力を保証する。
• 単一画像除霧分野において、条件付き敵対的ネットワークの応用を検討すること。これは本分野における画期的なアプローチである。

提案手法

• CANDYは、入力としてはでい画像を受け取り、直接それに対応するはっきりした画像を出力する条件付きGANアーキテクチャを採用する。
• 生成器は、敵対的損失、事前学習済みVGGネットワークからの特徴量を用いた知覚的損失、および構造的詳細の保持に寄与するコンテンツ一貫性損失を組み合わせた損失関数で訓練される。
• 識別器は入力のはでい画像に条件付けられており、実際のクリーン画像と生成された除霧画像を区別することで、現実的な画像生成を促進する。
• モデルは、大気光と透過率の値を変化させた物理的イメージングモデルを用いて合成されたはでいデータセット上で訓練される。
• 高周波成分の回復と視覚的シャープネスの向上を図るため、マルチスケールの敵対的損失が使用される。
• 透過率マップや大気光の明示的推定を回避することで、直接的なエンドツーエンド最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 完全なエンドツーエンドのディーブラーニングモデルは、中間パrameter推定に依存する従来の手法よりも、1枚の画像除霧において優れた性能を発揮できるか？
• RQ2 敵対的学習に知覚的損失とコンテンツ損失を組み合わせることで、従来の最適化目的関数と比較して、除霧画像の視覚的品質はどのように向上するか？
• RQ3 透過率や大気光の明示的モデリングなしに、条件付きGANアーキテクチャがどれほど現実的で高精細なはっきりした画像を生成できるか？
• RQ4 合成データで訓練されたにもかかわらず、本手法のエンドツーエンドのGANベースのアプローチは、実世界のはでい画像に対しても一般化できるか？
• RQ5 敵対的損失、知覚的損失、コンテンツ一貫性損失の相対的な寄与度は、除霧分野における最先端のパフォーマンスを達成するためにどの程度重要か？

主な発見

• CANDYは、ベンチマークデータセットにおいてPSNRやSSIMといった定量的指標で顕著な向上を達成し、先行する最先端手法を上回った。
• 定性的な結果から、CANDYはよりシャープで自然な見た目の除霧画像を生成し、テクスチャーや微細なディテールの保持が優れていることが示された。
• 実世界のはでい画像に対しても、中間パrameter推定に依存する手法と比較して、優れた視覚的結果を達成するという、良好な一般化性能を示した。
• アブレーションスタディにより、敵対的損失、知覚的損失、コンテンツ一貫性損失の組み合わせが最適パフォーマンスを達成するために不可欠であることが確認された。
• 条件付きGANの使用により、アーチファクトが従来のアプローチで一般的に見られるのとは異なり、より現実的で多様な出力が得られた。
• CANDYは、合成データおよび実世界データの両方の除霧ベンチマークで最先端のパフォーマンスを達成し、その有効性と一般化能力を裏付けた。