[論文レビュー] Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN

Jeong-gi Kwak, Youngsaeng Jin+4 more|arXiv (Cornell University)|Dec 8, 2021

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、悪天候画像変換のための新しい非対称的かつ不確実性に配慮した GAN、AU-GAN を提案する。特に、雨の夜間画像を明るい昼間のシーンに向上させる。通常ドメインの生成器に特徴転送ネットワークを導入し、非対称的特徴マッチングと不確実性に配慮したサイクル整合性損失を採用することで、アーティファクトを効果的に低減し、分離性を向上させ、BDD100K および Alderley データセットにおいて定性的および定量的に最先端の性能を達成した。

ABSTRACT

Adverse weather image translation belongs to the unsupervised image-to-image (I2I) translation task which aims to transfer adverse condition domain (eg, rainy night) to standard domain (eg, day). It is a challenging task because images from adverse domains have some artifacts and insufficient information. Recently, many studies employing Generative Adversarial Networks (GANs) have achieved notable success in I2I translation but there are still limitations in applying them to adverse weather enhancement. Symmetric architecture based on bidirectional cycle-consistency loss is adopted as a standard framework for unsupervised domain transfer methods. However, it can lead to inferior translation result if the two domains have imbalanced information. To address this issue, we propose a novel GAN model, i.e., AU-GAN, which has an asymmetric architecture for adverse domain translation. We insert a proposed feature transfer network (${T}$-net) in only a normal domain generator (i.e., rainy night-> day) to enhance encoded features of the adverse domain image. In addition, we introduce asymmetric feature matching for disentanglement of encoded features. Finally, we propose uncertainty-aware cycle-consistency loss to address the regional uncertainty of a cyclic reconstructed image. We demonstrate the effectiveness of our method by qualitative and quantitative comparisons with state-of-the-art models. Codes are available at https://github.com/jgkwak95/AU-GAN.

研究の動機と目的

• 対称的 GAN が悪天候条件下における非教師付き画像間変換に限界を示す問題に対処すること。
• 低照度、雨、曇りの画像におけるアーティファクトを軽減し、構造的詳細を保持することで、変換品質を向上させること。
• 訓練中にノイズや損傷のある領域に対して過剰にペナルティを与えないように、再構築画像内の領域的不確実性をモデル化すること。
• 悪天候画像と標準天候画像の間で大きなドメインギャップがあるにもかかわらず、ドメイン不変特徴とドメイン固有特徴の有効な分離を可能にすること。
• 悪天候ドメインから通常ドメインへの変換中に特徴表現を強化する、耐障害性の高い非対称フレームワークを開発すること。

提案手法

• 悪天候ドメインから通常ドメインに変換する生成器（雨の夜間 → 明るい昼間）にのみ、エンコーダーとデコーダーの間に特徴転送ネットワーク（T-net）を組み込んだ非対称 GAN アーキテクチャを提案する。
• 局所的オブジェクトを除去せずに、ドメイン不変特徴とドメイン固有特徴の分離性を向上させるために、非対称的特徴マッチング損失を導入する。
• 信頼度マップに基づいてペナルティを動的に調整する不確実性に配慮したサイクル整合性損失を開発し、サイクル再構成におけるアーティファクトへの過剰適合を低減する。
• 生成画像の高レベルの意味的整合性と現実性を維持するために、知覚損失と敵対的損失を活用する。
• ドメイン間で共通のコンテンツ空間を採用して一貫性を強制する一方で、非対称な特徴精錬を許容し、情報の不均衡に対処する。
• 再構成における不確実領域を軽減するように変更された目的関数を用いて、サイクル整合性損失と知覚損失を組み合わせてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 非対称 GAN アーキテクチャは、対称的アーキテクチャと比較して、悪天候条件下における画像変換品質を向上させることができるか？
• RQ2 通常ドメインの生成器に特徴転送ネットワークを組み込むことで、特徴の精錬とアーティファクト低減にどのような影響を与えるか？
• RQ3 不確実性に配慮したサイクル整合性損失は、サイクル再構成におけるアーティファクトの拡散をどの程度軽減できるか？
• RQ4 非対称的特徴マッチングは、ドメイン不変コンテンツとドメイン固有のノイズ・歪みの分離性を向上させることができるか？
• RQ5 提案手法は、明るい昼間 ↔ 夜間のような双方向変換に対しても一般化可能であり、高い視覚的忠実度を維持できるか？

主な発見

• AU-GAN は、雨の夜間画像を明るい昼間のシーンに変換する際、より優れた視覚的品質を達成し、アーティファクトが少なく、道路やオブジェクトの構造が良好に保持されている。
• 不確実性に配慮したサイクル整合性損失は、特に反射やぼやけの領域において、誤検出（偽陽性）を顕著に低減した。
• 定性的な比較では、AU-GAN は CycleGAN、UNIT、ToDayGAN、ForkGAN を上回り、オブジェクトの同一性とシーンの文脈を良好に維持している。
• 高解像度画像（512×1024）に対しても耐性を示したが、収束の問題とアーティファクトが発生する場合があり、アーキテクチャの洗練の余地が示唆された。
• 失敗事例では、一般的なシーン要素（例：街路樹）にバイアスがかかることが判明し、建物や道路のような暗く特徴のない領域では、架空の構造が生成された。
• 双方向変換（例：昼間 ↔ 夜間）に対しても一般化がうまくいき、妥当な昼間から夜間および夜間から昼間の結果を生成しており、非対称設計にもかかわらず対称的機能を有することが検証された。