[論文レビュー] Single Image Haze Removal using a Generative Adversarial Network

N. Bharath Raj, N. Venkateswaran|arXiv (Cornell University)|Oct 22, 2018

Image Enhancement Techniques参考文献 25被引用数 20

ひとこと要約

本稿では、修正されたTiramisuネットワークを生成器として用い、局所的特徴を強調するパッチベースの識別器を採用することで、アーティファクトを低減する、エンドツーエンドの生成的敵対ネットワーク（GAN）ベースの単一画像の霞み除去手法を提案する。ハイブリッド重み付き損失関数により、視覚的品質を向上させ、合成画像および実世界の霞み画像の両方で最先端の性能を達成した。

ABSTRACT

Traditional methods to remove haze from images rely on estimating a transmission map. When dealing with single images, this becomes an ill-posed problem due to the lack of depth information. In this paper, we propose an end-to-end learning based approach which uses a modified conditional Generative Adversarial Network to directly remove haze from an image. We employ the usage of the Tiramisu model in place of the classic U-Net model as the generator owing to its higher parameter efficiency and performance. Moreover, a patch based discriminator was used to reduce artefacts in the output. To further improve the perceptual quality of the output, a hybrid weighted loss function was designed and used to train the model. Experiments on synthetic and real world hazy images demonstrates that our model performs competitively with the state of the art methods.

研究の動機と目的

• 深度情報の欠落による単一画像の霞み除去の不適切な定式化を解消すること。
• 透過率マップ推定を回避するエンドツーエンドの学習ベースのアプローチを開発すること。
• 脱着画像の視覚的品質を向上させるとともに、アーティファクトを低減すること。
• 合成画像および実世界の霞み画像の両方で競争力のある性能を達成すること。
• Tiramisuアーキテクチャのパラメータ効率性と性能を、GANフレームワークを用いた脱着に活用すること。

提案手法

• 生成器は、高いパラメータ効率性と強力な特徴抽出能力のため、Tiramisuネットワークを採用した。
• 局所的な現実性を強化し、脱着出力におけるテクスチャアーティファクトを低減するために、パッチベースの識別器を採用した。
• コンテンツ損失、敵対的損失、および視覚的損失を組み合わせたハイブリッド重み付き損失関数を用い、視覚的品質を向上させた。
• 条件付きGAN設定下でエンドツーエンドに訓練し、直接的に霞み画像を脱着画像にマッピングした。
• 性能向上とパラメータ削減を目的に、標準のU-Netの代わりにTiramisu生成器を採用した。
• 忠実度と現実性の両立を図るため、L1損失、敵対的損失、および視覚的損失の組み合わせを用いて訓練した。

実験結果

リサーチクエスチョン

• RQ1 深度情報が不要なGANベースのアプローチが、単一画像からの霞み除去に有効に機能するか。
• RQ2 Tiramisuネットワークを生成器として用いることで、U-Netに比べて性能と効率性が向上するか。
• RQ3 パッチベースの識別器が、脱着出力におけるアーティファクトを低減し、局所的な画像品質を向上させるか。
• RQ4 ハイブリッド損失関数が、標準的な損失関数と比較して視覚的品質をどの程度向上させるか。
• RQ5 本手法は、合成画像および実世界の霞み画像において、最先端の手法と比較してどのように性能を発揮するか。

主な発見

• 提案手法は、合成画像および実世界の霞み画像データセットの両方で競争力ある性能を達成した。
• Tiramisu生成器の採用により、U-Netに比べてより優れたパラメータ効率性と特徴表現能力が得られた。
• パッチベースの識別器は、テクスチャアーティファクトを顕著に低減し、局所的な画像品質を向上させた。
• ハイブリッド重み付き損失関数により視覚的品質が向上し、より自然な外観の脱着画像が得られた。
• 本モデルは実世界の霞み画像においても優れた一般化性能を示し、複数の既存手法を視覚的品質で上回った。
• 本手法はWiSPNET 2020での発表に承認され、関連するGitHubリポジトリで継続的なアップデートが行われている。