[論文レビュー] End-to-End Single Image Fog Removal using Enhanced Cycle Consistent Adversarial Networks

Wei Liu, Xianxu Hou+2 more|arXiv (Cornell University)|Feb 4, 2019

Image Enhancement Techniques参考文献 33被引用数 10

ひとこと要約

本稿では、対応のない曇り画像と晴れ画像を用いた、強化されたサイクル整合性を持つ生成的敵対ネットワーク（CycleGAN）を用いたエンドツーエンドの単一画像除霧手法、Cycle-Defog2Refogを提案する。2段階のマッピング戦略を採用し、大気劣化モデルとスカイプライオリを統合することで忠実度を向上させ、200シーン、800枚の画像を含む、実世界の屋外用の曇り-曇りなしデータセット（MRFID）を初めて開発した。定性的および定量的評価において、特にテクスチャの詳細を保持し、色の歪みを低減する点で最先端の性能を達成した。

ABSTRACT

Single image defogging is a classical and challenging problem in computer vision. Existing methods towards this problem mainly include handcrafted priors based methods that rely on the use of the atmospheric degradation model and learning based approaches that require paired fog-fogfree training example images. In practice, however, prior-based methods are prone to failure due to their own limitations and paired training data are extremely difficult to acquire. Inspired by the principle of CycleGAN network, we have developed an end-to-end learning system that uses unpaired fog and fogfree training images, adversarial discriminators and cycle consistency losses to automatically construct a fog removal system. Similar to CycleGAN, our system has two transformation paths; one maps fog images to a fogfree image domain and the other maps fogfree images to a fog image domain. Instead of one stage mapping, our system uses a two stage mapping strategy in each transformation path to enhance the effectiveness of fog removal. Furthermore, we make explicit use of prior knowledge in the networks by embedding the atmospheric degradation principle and a sky prior for mapping fogfree images to the fog images domain. In addition, we also contribute the first real world nature fog-fogfree image dataset for defogging research. Our multiple real fog images dataset (MRFID) contains images of 200 natural outdoor scenes. For each scene, there are one clear image and corresponding four foggy images of different fog densities manually selected from a sequence of images taken by a fixed camera over the course of one year. Qualitative and quantitative comparison against several state-of-the-art methods on both synthetic and real world images demonstrate that our approach is effective and performs favorably for recovering a clear image from a foggy image.

研究の動機と目的

• 対応のない曇り-曇りなし学習データを必要としない単一画像除霧の課題に対処すること。
• 明るい空や白色の物体など複雑な条件下で失敗する既存のベース法の限界を克服すること。
• 合成データ生成を伴わない実世界の屋外シーンに一般化しやすい学習ベースのアプローチを開発すること。
• 強力なトレーニングと評価を可能にする、自然な曇りと晴れの画像ペアから構成される現実的で大規模なデータセットを構築すること。
• GANフレームワークに物理的プライオリ（大気モデルとスカイプライオリ）を統合することで、画像品質を向上させること。

提案手法

• 曇り→曇りなしおよび曇りなし→曇りの両変換経路において、段階的な改善を図る2段階のマッピング戦略を採用する。
• サイクル整合性損失と敵対的トレーニングを用いて、非対応の曇り画像と晴れ画像からのエンドツーエンド学習を可能にする。
• 物理的妥当性をガイドするため、リフォッグネットに大気劣化モデル $ I(x) = J(x)T(x) + A[1-T(x)] $ を統合する。
• 大気光 $ A $ の推定にスカイプライオリを組み込むことで、高輝度領域における色の歪みとアーティファクトを低減する。
• 曇り→曇りなしと曇りなし→曇りの両方のドメインで現実的な画像分布を強制するために、2つの判別器を訓練する。
• 200の自然な屋外シーンに1つの晴れ画像と4つの曇り画像を含むMRFIDデータセットを活用し、トレーニングと評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 対応のない学習データを必要としないGANベースのアプローチが、高品質な単一画像除霧を達成できるか。
• RQ2 2段階のマッピング戦略は、単一段階のGANと比較して、除霧性能をどのように向上させるか。
• RQ3 物理的プライオリ（大気モデルとスカイプライオリ）を統合することで、アーティファクトをどれほど低減し、リアルな出力を向上させられるか。
• RQ4 本手法は、合成ベンチマークと比較して、実世界の曇り画像に対してどのように性能を発揮するか。
• RQ5 新たに収集された実世界の曇り-曇りなしデータセット（MRFID）は、除霧モデルの一般化と評価をどのように向上させるか。

主な発見

• 提案手法は、合成データおよび実世界の曇り画像の両方で優れた性能を発揮し、SOTA手法と比較してより明確なテクスチャと色の歪みの低減を実現した。
• 定量的評価では、エッジ回復（$e$）とコントラスト回復（$\overline{r}$）の両方で最高値を記録し、局所的詳細の良好な保持を示した。
• FADE指標が提案手法で低く抑えられ、より優れたテクスチャ詳細の回復とシャープな出力が確認された。
• 飽和度の偏差（$\delta$）が低く保たれており、結果全体にわたる一貫性のある色のバランスを示した。
• MRFIDデータセットにおいて、視覚的品質、明るさ、シャープネス、エッジの可視性の点で、5つのSOTA手法を上回った。
• 極めて濃い曇りの処理には限界があるものの、多様な実世界の屋外シーンにおいて、強力なロバスト性と一般化性能を示した。