[論文レビュー] Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Nov 25, 2021

Anomaly Detection Techniques and Applications被引用数 11

ひとこと要約

このチュートリアルおよびサーベイ論文は、生成対抗ネットワーク（GANs）および対抗オートエノードイザーについて包括的な概要を提供しており、基礎的概念、高度な変種、およびその応用をカバーしている。生成器と判別器のネットワークが敵対的訓練を通じて競い合うことで、サンプルの品質が向上する仕組みを説明するとともに、モード崩壊の解決法、訓練の安定性の向上、およびオートエノードイザーに基づくアーキテクチャ（AAE、PixelGAN、IAE）を用いた画像間変換、テキストから画像への生成、次元削減の応用についても詳述している。

ABSTRACT

This is a tutorial and survey paper on Generative Adversarial Network (GAN), adversarial autoencoders, and their variants. We start with explaining adversarial learning and the vanilla GAN. Then, we explain the conditional GAN and DCGAN. The mode collapse problem is introduced and various methods, including minibatch GAN, unrolled GAN, BourGAN, mixture GAN, D2GAN, and Wasserstein GAN, are introduced for resolving this problem. Then, maximum likelihood estimation in GAN are explained along with f-GAN, adversarial variational Bayes, and Bayesian GAN. Then, we cover feature matching in GAN, InfoGAN, GRAN, LSGAN, energy-based GAN, CatGAN, MMD GAN, LapGAN, progressive GAN, triple GAN, LAG, GMAN, AdaGAN, CoGAN, inverse GAN, BiGAN, ALI, SAGAN, Few-shot GAN, SinGAN, and interpolation and evaluation of GAN. Then, we introduce some applications of GAN such as image-to-image translation (including PatchGAN, CycleGAN, DeepFaceDrawing, simulated GAN, interactive GAN), text-to-image translation (including StackGAN), and mixing image characteristics (including FineGAN and MixNMatch). Finally, we explain the autoencoders based on adversarial learning including adversarial autoencoder, PixelGAN, and implicit autoencoder.

研究の動機と目的

• 研究者および実務家向けに、生成対抗ネットワーク（GANs）および対抗オートエノードイザーの統合的チュートリアルおよびサーベイを提供すること。
• Wasserstein GAN、DCGAN、プログレッシブ GAN などの高度な変種を用いて、訓練における主要な課題（例：モード崩壊）を解決すること。
• 表現学習および次元削減のためのオートエノードイザーへの敵対的学習の統合を説明すること。
• CycleGAN、StackGAN、FineGAN などのモデルを用いた画像間変換、テキストから画像への合成、特徴量の混合に関する応用をサーベイすること。
• 生成のための敵対的学習と攻撃のための敵対的学習の違いを明確にし、文献における混乱を避けること。

提案手法

• 生成器が偽のデータを生成し、判別器が本物と偽物のサンプルを区別する競合的な生成フレームワークを採用し、ミニマックス損失を最適化することで学習を行う。
• アーキテクチャ的制約と条件付き入力を導入することで、訓練の安定性とサンプル品質を向上させるための条件付き GAN および DCGAN を導入する。
• オートエノードイザーにおける潜在空間分布の正則化に敵対的訓練を適用し、生成された潜在コードが事前分布（例：ガウス分布）と一致するように GAN スタイルの判別器を用いる。
• f-GAN、敵対的変分ベイズ、ベイジアン GAN を用いて、潜在空間における尤度推定と不確実性モデリングを改善する。
• 特徴量マッチング、エネルギーベース GAN、MMD GAN を用いて、訓練の安定性を高め、モードカバレッジを向上させる。
• オートエノードイザーにおけるマルチフェーズ訓練を採用：再構成フェーズ（再構成損失）、および2つの敵対的フェーズ（潜在事前分布の一致と再構成データ分布の一致）。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練をどのように活用することで、GAN における生成サンプルの品質と多様性を向上させられるか？
• RQ2 GAN におけるモード崩壊を解消するための主なアーキテクチャ的および訓練的修正は何か？
• RQ3 敵対的学習をどのようにオートエノードイザーに統合することで、表現学習および次元削減を改善できるか？
• RQ4 生成のための敵対的学習と攻撃のための敵対的学習には、理論的および実用的においてどのような相違があるか？
• RQ5 SAGAN、CycleGAN、SinGAN などの変種は、画像間変換および少数サンプルからの生成において GAN の能力をどのように拡張しているか？

主な発見

• Wasserstein GAN および D2GAN は、地球移動距離と動的判別器更新を用いることで、訓練の安定性とモードカバレッジを顕著に向上させた。
• 敵対的オートエノードイザー（AAE）は、敵対的損失を用いて生成された潜在コードが事前分布と一致するように訓練することで、効果的な次元削減を達成した。
• PixelGAN は、潜在コードから導出される適応的バイアスを有する PixelCNN デコーダーを用いることで高精細な画像生成を実現し、同時に潜在空間の正則化に敵対的訓練を適用した。
• 暗黙的オートエノードイザー（IAE）は、2つの別個の GAN を用いて、同時に潜在事前分布の一致と再構成データ分布の一致を強制することで、表現学習を向上させた。
• CycleGAN や StackGAN などのモデルは、分離可能な表現とサイクル整合性のあるマッピングを学習することで、高品質な画像間変換およびテキストから画像への合成を可能にした。
• プログレッシブ GAN および SAGAN は、段階的なモデル容量の増加と自己注意機構の導入により、高解像度画像の生成において最先端の結果を達成した。