[論文レビュー] A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications

Jie Gui, Zhenan Sun+3 more|arXiv (Cornell University)|Jan 20, 2020

Generative Adversarial Networks and Image Synthesis参考文献 392被引用数 260

ひとこと要約

GANの網羅的な調査で、アルゴリズム、理論、バリアント、応用を詳述し、モデル間の接続と未開拓の研究方向性を示す。

ABSTRACT

Generative adversarial networks (GANs) are a hot research topic recently. GANs have been widely studied since 2014, and a large number of algorithms have been proposed. However, there is few comprehensive study explaining the connections among different GANs variants, and how they have evolved. In this paper, we attempt to provide a review on various GANs methods from the perspectives of algorithms, theory, and applications. Firstly, the motivations, mathematical representations, and structure of most GANs algorithms are introduced in details. Furthermore, GANs have been combined with other machine learning algorithms for specific applications, such as semi-supervised learning, transfer learning, and reinforcement learning. This paper compares the commonalities and differences of these GANs methods. Secondly, theoretical issues related to GANs are investigated. Thirdly, typical applications of GANs in image processing and computer vision, natural language processing, music, speech and audio, medical field, and data science are illustrated. Finally, the future open research problems for GANs are pointed out.

研究の動機と目的

• GANの動機づけと構造を説明し、それを生成モデリングの文脈に位置づける。
• 最小最大、非飽和、最大尤度の観点を含むコアな目的関数と訓練ダイナミクスを要約する。
• 代表的なGANバリアントと訓練戦略を整理・関連づける。
• GAN目的と発散（KL、JS、f-分布、IPM など）との関連を理論的に検討し、それらの含意を整理する。
• 画像処理、NLP、音楽、医療、データサイエンスなどの典型的な応用を示し、未解決の課題を概説する。

提案手法

• 元の GAN フレームワークとその minimax 目的を説明する。
• 代替的な目的関数と理論的含意（例：JS/KL発散、IPM）を論じる。
• 代表的なGANバリアント（InfoGAN、cGAN、CycleGAN、f-GAN、WGAN、LS-GAN など）とそれらの訓練技術を提示する。
• 条件付け、補助タスク、複数のGAN/ディスクリミネータ構成を拡張として説明する。
• 評価・可視化ツールのレビューと、より広い学習フレームワークへの接続を扱う。

実験結果

リサーチクエスチョン

• RQ1 主要なGANバリアントのアルゴリズム的・理論的観点からのつながりと差異は何か。
• RQ2 JS、KL、f-分散、WGAN などの IPM を含むさまざまな発散・距離尺度が、GANの訓練の安定性と品質にどのように影響するか。
• RQ3 GANの主要な適用領域は何か、未解決の問題は何か。
• RQ4 条件付け、サイクル整合性、補助損失が生成品質とモードカバレッジにどう影響するか。

主な発見

• GANの訓練はディスクリミネータが生成器を実データ分布へ向かわせる minimax ゲームとして見ることができる。
• 元の GAN 目的は JS および KL 発散と関連し、GAN を確立された統計的距離に結びつける。
• 非飽和および最大尤度の解釈は、勾配の挙動と訓練の安定性にトレードオフをもたらす。
• 学習安定性、モード崩壊、条件付け、アンペアデータへの対応など、アーキテクチャおよび損失関数の変更を通じて広範なGANバリアントが対処している。
• Wasserstein に基づくアプローチ（WGAN、WGAN-GP）は訓練の安定性向上と意味のある損失曲線を提供する。
• GANは画像処理、NLP、音楽、音声、医療、データサイエンスなど幅広い応用を持ち、高解像度、翻訳、ドメイン適応のためのいくつかの特殊派生が存在する。