[論文レビュー] Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks

Xuelong Li, Kai Kou+1 more|arXiv (Cornell University)|Mar 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 48被引用数 24

ひとこと要約

本稿では、晴れ、曇り、薄霧、雨、雪の5つの天候状態の間で画像を変換するための新しい生成的敵対ネットワークであるWeather GANを提案する。天候の手がかりを抽出するセグメンテーションモジュール、注目メカニズム、および初期変換モジュールを統合することで、天候固有の特徴を正確に特定・変換しつつ、非天候領域を保持し、視覚的品質と天候分類の正確性において最先端の性能を達成した。

ABSTRACT

In this paper, a new task is proposed, namely, weather translation, which refers to transferring weather conditions of the image from one category to another. It is important for photographic style transfer. Although lots of approaches have been proposed in traditional image translation tasks, few of them can handle the multi-category weather translation task, since weather conditions have rich categories and highly complex semantic structures. To address this problem, we develop a multi-domain weather translation approach based on generative adversarial networks (GAN), denoted as Weather GAN, which can achieve the transferring of weather conditions among sunny, cloudy, foggy, rainy and snowy. Specifically, the weather conditions in the image are determined by various weather-cues, such as cloud, blue sky, wet ground, etc. Therefore, it is essential for weather translation to focus the main attention on weather-cues. To this end, the generator of Weather GAN is composed of an initial translation module, an attention module and a weather-cue segmentation module. The initial translation module performs global translation during generation procedure. The weather-cue segmentation module identifies the structure and exact distribution of weather-cues. The attention module learns to focus on the interesting areas of the image while keeping other areas unaltered. The final generated result is synthesized by these three parts. This approach suppresses the distortion and deformation caused by weather translation. our approach outperforms the state-of-the-arts has been shown by a large number of experiments and evaluations.

研究の動機と目的

• 画像対画像変換タスクにおける柔軟で多カテゴリーの天候変換の不足に対処すること。
• 既存の単一条件アプローチ（例：薄霧や雨の除去）では天候カテゴリーを変更できず、新しい天候効果を追加できないことの改善。
• 天候の手がかり（例：雲、雪、ぬれた地面）を正確に変換しつつ、非天候領域を保持すること。
• 高い視覚的忠実度を備えた双方向的かつ多ドメインの天候変換が可能なフレームワークの開発。
• 定量的指標、分類精度、ユーザースタディーを用いたモデル性能の評価。

提案手法

• 生成器アーキテクチャは、グローバルなスタイル変換を行うための初期変換モジュール、天候固有の特徴を特定・局所化するための天候の手がかりセグメンテーションモジュール、関連する画像領域に注目を向けるための注目モジュールの3つのモジュールを統合している。
• 天候の手がかりセグメンテーションモジュールは、意味的セグメンテーションを用いて、入力画像内の天候の手がかり（例：青空、雪、薄霧）の空間的分布を検出・マッピングする。
• 注目モジュールは、特に天候関連の領域に動的に注目を向ける一方で、画像の関係のない部分への変更を最小限に抑える。
• 最終的な画像は、3つのモジュールの出力を統合することで合成され、構造的一致性が確保され、歪みが低減される。
• モデルは、敵対的損失、サイクル整合性損失、知覚的損失を用いたGANフレームワークで訓練され、リアルさと特徴の整合性が向上する。
• アブレーションスタディーにより、注目モジュールとセグメンテーションモジュールの両方の必要性が検証され、いずれかを削除すると、誤った非天候領域の変換や不自然な境界といったアーチファクトが顕著に現れることが示された。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、5つの異なる天候状態間で双方向的かつ多ドメインの天候変換を効果的に行えるか？
• RQ2 天候の手がかりセグメンテーションと注目メカニズムは、画像変換における天候固有の特徴の局所化と変換をどのように向上させるか？
• RQ3 複数のモジュールの統合は、天候変換中に歪みをどれほど低減し、非天候領域をどれほど保持するか？
• RQ4 視覚的品質、カテゴリーの正確性、ユーザーランクの観点から、Weather GANは最先端の手法と比較してどのように差をつけるか？
• RQ5 重度に覆われた、もしくは視界が著しく制限された画像に対して、モデルの失敗モードはどのようなものか？

主な発見

• Weather GANは、生成画像における天候分類精度が最高で87％に達し、ターゲットの天候カテゴリーと強い整合性を示している。
• FIDおよびKID指標において、最先端のベースラインと比較して最高の性能を示しており、優れた画像品質と分布の忠実度を実証した。
• ユーザースタディーの結果、Weather GANが生成した結果は、すべての比較手法の中で視覚的品質で最も高い順位を獲得した。
• アブレーションスタディーにより、注目モジュールまたはセグメンテーションモジュールのいずれかを削除すると、非天候領域の誤った変換や不自然な境界といった顕著なアーチファクトが生じることが確認された。
• モデルは、類似した天候状態間の変換（例：晴れから曇り）において最も優れた性能を示したが、雪から薄霧への複雑な変換では精度が45％に低下した。
• 失敗事例は、濃い雪や薄霧で覆われたシーンで発生し、構造的詳細が失われたため、正確な注目マッピングにもかかわらず、ぼやけや色の歪みが生じた。