[論文レビュー] Comparing Generative Adversarial Network Techniques for Image Creation and Modification

Mathijs Pieters, Marco Wiering|arXiv (Cornell University)|Mar 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 11

ひとこと要約

この論文は、画像生成および画像変更のためのさまざまなGAN技術を比較し、訓練安定性、条件付き生成、およびエンコーダーを用いた画像再構成を評価している。WGAN-GPは訓練安定性と画像品質を向上させることを示したが、InfoGANは分離可能な表現学習を可能にした。一方、識別器をカプセルネットワークに置き換えると、アーキテクチャ上の制限により性能が低下した。

ABSTRACT

Generative adversarial networks (GANs) have demonstrated to be successful at generating realistic real-world images. In this paper we compare various GAN techniques, both supervised and unsupervised. The effects on training stability of different objective functions are compared. We add an encoder to the network, making it possible to encode images to the latent space of the GAN. The generator, discriminator and encoder are parameterized by deep convolutional neural networks. For the discriminator network we experimented with using the novel Capsule Network, a state-of-the-art technique for detecting global features in images. Experiments are performed using a digit and face dataset, with various visualizations illustrating the results. The results show that using the encoder network it is possible to reconstruct images. With the conditional GAN we can alter visual attributes of generated or encoded images. The experiments with the Capsule Network as discriminator result in generated images of a lower quality, compared to a standard convolutional neural network.

研究の動機と目的

• 標準GAN、WGAN-GP、条件付きGAN、InfoGANを含む、さまざまなGANバリアントの訓練安定性と画像品質を評価・比較すること。
• GANにエンコーダーネットワークを統合することで、画像再構成と潜在空間符号化が可能かどうかを調査・検証すること。
• 標準畳み込みニューラルネットワークと比較して、カプセルネットワークを識別器として用いたGANの性能を評価すること。
• 教師あり条件付きGANと教師なし条件付きGAN（InfoGAN）における分離可能な表現学習の可能性を調査すること。
• MNISTおよびCelebAデータセット上で、さまざまな目的関数や訓練目的がGANの性能に与える影響を分析すること。

提案手法

• 生成器および識別器に深層畳み込みニューラルネットワークを用いて、標準GANとWGAN-GPを訓練。WGAN-GPでは、訓練安定性の向上のため勾配ペナルティを適用した。
• 教師ありラベルを用いた条件付きGANと、カテゴリカルおよび連続的潜在変数を用いて分離可能な表現を学習する教師なしInfoGANバージョンを実装した。
• GANフレームワークにエンコーダーネットワークを統合し、画像から潜在ベクトルへのマッピングと再構成を可能にした。変分オートエンコーダーに類似した動作を実現した。
• 標準CNNの代わりにカプセルネットワークアーキテクチャを識別器として採用し、グローバルな画像特徴を検出できるかを評価した。
• MNISTおよびCelebAデータセットを用いて訓練と評価を行い、画像品質、再構成忠実度、属性操作の可視化を通じて評価した。
• 敵対的損失と再構成損失を含むさまざまな損失関数を適用し、識別器出力と再構成目的を組み合わせて検証した。

実験結果

リサーチクエスチョン

• RQ1 WGAN-GPは、標準GANと比較して訓練安定性と画像品質においてどのように異なるか？
• RQ2 エンコーダーネットワークは、GANの潜在空間から画像を効果的に再構成できるか？また、データセットによって再構成品質はどのように変化するか？
• RQ3 条件付きGANとInfoGANは、生成画像における視覚的属性の分離可能な操作をどの程度可能にするか？
• RQ4 標準識別器をカプセルネットワークに置き換えることで、画像生成タスクにおけるGANの性能が向上するか？
• RQ5 WGAN-GP や InfoGAN におけるような異なる目的関数は、GANの学習ダイナミクスと表現品質にどのように影響を与えるか？

主な発見

• WGAN-GPは、標準GANと比較して訓練安定性が著しく向上し、モード崩壊も軽減され、より高品質な画像が生成された。
• エンコーダーネットワークは、潜在空間からの画像再構成に成功した。MNISTではほぼ完璧な再構成が達成されたが、より複雑なCelebAデータセットでは良好ではあるがぼやけた結果となった。
• 条件付きGANは、ラベルが利用可能な場合、正確に視覚的属性を操作でき、例えば数字のクラスや顔画像の髪の色の変更が可能だった。
• InfoGANは、明示的な教師信号がなくても、連続的潜在変数が数字の幅や髪の色といった属性に影響を与える分離可能な表現学習を達成した。
• カプセルネットワークを識別器として用いた場合、標準CNNと比較して生成画像の品質が低かった。これは、ネットワークが浅く小さく、特徴学習に制限があるためと推察された。
• 本研究では、目的関数の設計、特にWGAN-GPにおける勾配ペナルティの使用が、GANの訓練安定性と性能向上に極めて重要な役割を果たすことが確認された。