[論文レビュー] Robust Conditional Generative Adversarial Networks

Grigorios G. Chrysos, Jean Kossaifi+1 more|arXiv (Cornell University)|Sep 27, 2018

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、目的多様体の構造を保持するための非教師付きパスを導入することで、ノイズのある条件下でも生成器の信頼性を向上させる、ロバストな条件付きGAN、RoCGANを提案する。潜在空間の構造を活用することで、自然画像および顔画像の分野において、最先端のcGANよりも優れた性能を達成し、生成品質を損なうことなく、より優れた耐障害性を示す。

ABSTRACT

Conditional generative adversarial networks (cGAN) have led to large improvements in the task of conditional image generation, which lies at the heart of computer vision. The major focus so far has been on performance improvement, while there has been little effort in making cGAN more robust to noise. The regression (of the generator) might lead to arbitrarily large errors in the output, which makes cGAN unreliable for real-world applications. In this work, we introduce a novel conditional GAN model, called RoCGAN, which leverages structure in the target space of the model to address the issue. Our model augments the generator with an unsupervised pathway, which promotes the outputs of the generator to span the target manifold even in the presence of intense noise. We prove that RoCGAN share similar theoretical properties as GAN and experimentally verify that our model outperforms existing state-of-the-art cGAN architectures by a large margin in a variety of domains including images from natural scenes and faces.

研究の動機と目的

• ノイズのある入力条件下における条件付きGANの耐障害性の欠如に対処すること。
• ノイズが存在する中でも、目的多様体の構造を保持することで、生成器出力の信頼性を向上させること。
• 強いノイズ下でも高い性能を維持するcGANアーキテクチャを開発し、実世界への応用を可能にすること。
• 標準GANと理論的に同等であることを証明しながら、実用的な耐障害性を向上させること。
• 多様な画像生成分野において、既存の最先端cGANモデルを上回ること。

提案手法

• 生成器に、下位の目的多様体に向かって出力を誘導する非教師付きパスを導入する。
• ラベルを必要とせず、データ分布から学習する構造に配慮したコンponentを条件付き生成器に追加する。
• 目的空間の内因的構造を活用して、生成器出力を正則化し、ノイズ下での誤差伝搬を制限する。
• GANの敵対的訓練フレームワークを維持しつつ、非教師付きパスによる構造的インダクティブバイアスを追加する。
• 敵対的損失と多様体保持正則化を組み合わせた修正された損失関数を使用する。
• 理論的分析により、RoCGANが標準GANの重要な性質（弱い仮定の下での収束性など）を保持することが確認された。

実験結果

リサーチクエスチョン

• RQ1 入力ノイズに対して耐障害性を備えつつ、高精細な生成を実現できる条件付きGANは構築可能か？
• RQ2 目的空間における非教師付き構造の組み込みが、生成器の安定性をどのように向上させるか？
• RQ3 提案されたRoCGANモデルは、ノイズ下でも標準GANの理論的性質を維持するか？
• RQ4 多様な分野において、RoCGANは最先端のcGANと比較して、耐障害性および性能で優れているか？
• RQ5 非教師付きパスは、強いノイズ下でも生成器が目的多様体を適切にカバーできるように効果的に誘導できるか？

主な発見

• RoCGANは、ノイズのある条件下でも、既存の最先端cGANアーキテクチャを著しく上回る画像生成品質を達成した。
• 入力ノイズが強くても、高精細な出力を維持でき、耐障害性の向上が示された。
• 実験結果から、自然風景画像と顔画像生成タスクの両方で一貫した性能向上が確認された。
• 非教師付きパスは、生成器出力が目的多様体に一致するよう効果的に促進し、任意の誤差を低減した。
• 理論的分析により、RoCGANが標準GANの核心的な収束性および安定性の性質を継承していることが確認された。
• 実験により、RoCGANが生成の忠実性や学習安定性を損なうことなく、より優れた耐障害性を達成することが検証された。