[論文レビュー] Dehaze-GLCGAN: Unpaired Single Image De-hazing via Adversarial Training

Zahra Anvari, Vassilis Athitsos|ArXiv.org|Aug 15, 2020

Image Enhancement Techniques参考文献 40被引用数 24

ひとこと要約

本稿では、エンコーダ・デコーダ生成器と知覚的／色の損失を備えたグローバル・ローカル・サイクル整合性GANを用いた、未対応の単一画像除霧手法Dehaze-GLCGANを提案する。ベンチマークデータセットにおいて、教師なし学習でありながらも、SOTAのPSNRおよびSSIMを達成しており、ITSデータセットの20％のみで学習されていることから、少ないデータで優れた性能を発揮することが示された。

ABSTRACT

Single image de-hazing is a challenging problem, and it is far from solved. Most current solutions require paired image datasets that include both hazy images and their corresponding haze-free ground-truth images. However, in reality, lighting conditions and other factors can produce a range of haze-free images that can serve as ground truth for a hazy image, and a single ground truth image cannot capture that range. This limits the scalability and practicality of paired image datasets in real-world applications. In this paper, we focus on unpaired single image de-hazing and we do not rely on the ground truth image or physical scattering model. We reduce the image de-hazing problem to an image-to-image translation problem and propose a dehazing Global-Local Cycle-consistent Generative Adversarial Network (Dehaze-GLCGAN). Generator network of Dehaze-GLCGAN combines an encoder-decoder architecture with residual blocks to better recover the haze free scene. We also employ a global-local discriminator structure to deal with spatially varying haze. Through ablation study, we demonstrate the effectiveness of different factors in the performance of the proposed network. Our extensive experiments over three benchmark datasets show that our network outperforms previous work in terms of PSNR and SSIM while being trained on smaller amount of data compared to other methods.

研究の動機と目的

• 実世界のシーンにははだのない状態が多様であるため、対応データセットの制限を克服すること。
• 教師画像や物理的散乱モデルに依存しないスケーラブルで実用的な除霧ソリューションを開発すること。
• 未対応データを用いて、PSNR、SSIM、視覚的品質の観点から除霧性能を向上させること。
• 空間的に変化するはだを効果的に処理し、画像の詳細を保持できる生成器および識別器アーキテクチャを設計すること。
• adversarial 学習に知覚的損失と色の損失を組み合わせることで、より現実的で自然なはだなし画像を生成できることを示すこと。

提案手法

• 空間的に変化するはだをより効果的に処理できるように、グローバルおよびローカル特徴を別々に処理するグローバル・ローカル識別器アーキテクチャを提案する。
• 画像の詳細を除霧中に保持できるように、残差ブロックを強化したエンコーダ・デコーダ構造に基づく生成器を導入する。
• 対応データを必要としない未対応画像間変換のためのサイクル整合性GANフレームワークを採用する。
• 視覚的リアルさを向上させるとともに色の歪みを低減するため、カスタマイズされたサイクル知覚的損失と色の損失を組み合わせる。
• adversarial 損失、サイクル整合性損失、知覚的損失、色の損失を統合して、エンド・ツー・エンドでモデルを学習する。
• 学習にITSデータセットの20％のみを用いており、先行手法と比較してデータ効率が優れていることを示している。

実験結果

リサーチクエスチョン

• RQ1 対応データがなくても、GANベースのアプローチがSOTAの除霧性能を達成できるか？
• RQ2 グローバル・ローカル識別器構造は、空間的に変化するはだを効果的に処理できるか？
• RQ3 知覚的損失と色の損失を組み合わせることで、除霧画像の視覚的品質が向上するか？
• RQ4 残差ブロックを組み込んだサイクル整合性フレームワークは、既存の未対応除霧手法をPSNRおよびSSIMの観点で上回るか？
• RQ5 性能を犠牲にせずに、未対応除霧におけるデータ効率をどの程度向上できるか？

主な発見

• SOTS屋外データセットにおいて、Dehaze-GLCGANはPSNR 23.0276、SSIM 0.9165を達成し、対応手法を含むすべての先行手法を上回った。
• NYU-Depthデータセットでは、PSNR 15.9780、SSIM 0.8208を達成し、CycleGAN や Cycle-Dehaze などの未対応ベースラインを上回った。
• Middleburyデータセットでは、PSNR 15.6802、SSIM 0.8482を達成し、多様なテストセットにわたる優れた一般化性能を示した。
• DCP や AOD-Net などの先行手法で一般的に見られる色の歪みや過剰露出の問題を顕著に軽減した。
• 定性的な結果から、EPDN や AOD-Net、CycleGAN と比較して、顕著な詳細回復とより自然な画像生成が可能であることが示された。
• ITSデータセットの20％のみで学習されたにもかかわらず、全データで学習された手法よりもPSNRおよびSSIMの観点で優れた性能を発揮した。