[論文レビュー] Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy

Zhengwei Wang, Qi She+1 more|arXiv (Cornell University)|Jun 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 154被引用数 275

ひとこと要約

この論文は、コンピュータビジョンのためのGAN変種を調査し、それらをアーキテクチャ変種ファミリーと損失変種ファミリーに整理し、高品質で多様性があり、安定して訓練された画像生成に向けた進展を分析する。

ABSTRACT

Generative adversarial networks (GANs) have been extensively studied in the past few years. Arguably their most significant impact has been in the area of computer vision where great advances have been made in challenges such as plausible image generation, image-to-image translation, facial attribute manipulation and similar domains. Despite the significant successes achieved to date, applying GANs to real-world problems still poses significant challenges, three of which we focus on here. These are: (1) the generation of high quality images, (2) diversity of image generation, and (3) stable training. Focusing on the degree to which popular GAN technologies have made progress against these challenges, we provide a detailed review of the state of the art in GAN-related research in the published scientific literature. We further structure this review through a convenient taxonomy we have adopted based on variations in GAN architectures and loss functions. While several reviews for GANs have been presented to date, none have considered the status of this field based on their progress towards addressing practical challenges relevant to computer vision. Accordingly, we review and critically discuss the most popular architecture-variant, and loss-variant GANs, for tackling these challenges. Our objective is to provide an overview as well as a critical analysis of the status of GAN research in terms of relevant progress towards important computer vision application requirements. As we do this we also discuss the most compelling applications in computer vision in which GANs have demonstrated considerable success along with some suggestions for future research directions. Code related to GAN-variants studied in this work is summarized on https://github.com/sheqi/GAN_Review.

研究の動機と目的

• GANがコンピュータビジョンにおける高品質な画像生成、画像の多様性、安定した訓練に対してどの程度進展したかを評価する。
• アーキテクチャの変更と損失関数設計に基づくGAN変種の分類法を提供する。
• アーキテクチャ変种と損失変种GANを批判的に分析し、それらが実世界のコンピュータビジョンアプリケーションに適しているかを検討する。
• 著名な応用例を要約し、コンピュータビジョンのGANに関する今後の研究方向を議論する。

提案手法

• GAN変種を主に2つのグループ、アーキテクチャ変種と損失変種に分類する。
• アーキテクチャ変種内で、ネットワークアーキテクチャ、潜在空間、応用領域別に整理する。
• 損失変種内では、損失タイプ（IPMベース vs 非IPMベース）と正則化で分類する。
• 代表的なGAN（例：CGAN、InfoGAN、AC-GAN、LAPGAN、DCGAN、PROGAN、SAGAN、BigGAN）を画像品質、多様性、訓練の安定性の観点で評価・比較する。
• 評価指標を議論し、特定のビジョンタスクに対してGAN変種を選択する際の指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンにおけるGAN性能を向上させた主なアーキテクチャと損失関数の方向性は何か？
• RQ2 アーキテクチャ変種と損失変種GANは、画像品質、多様性、訓練の安定性の点でどのように比較されるか？
• RQ3 高解像度画像生成と多様な出力に対して、どのGANが最も効果的か？
• RQ4 コンピュータビジョンのGANにおける実用的な課題に対処するための今後の研究方向は何か？

主な発見

• GANの進展は、3つの中核的な課題（高品質な画像生成、生成の多様性、安定した訓練）を通じて分析される。
• 2つの方向性分類法が提案される：アーキテクチャ変種GANと損失変種GAN、それぞれに詳細なサブカテゴリーを設ける。
• アーキテクチャ変種には、ネットワークアーキテクチャの変更、潜在空間の変更、応用志向の設計（例：PROGAN、CGAN、LAPGAN、SAGAN、BigGAN）を含む。
• 損失変種は、損失関数設計（IPMベース vs 非IPMベース）と訓練を安定化させる正則化技術を含む。
• 本調査はコンピュータビジョンの実用的応用を論じ、主要なGANファミリーの利点と限界に関する批判的分析を提供する。
• Inception ScoreやFIDなどの評価指標が、変種を比較する文脈で論じられている。