[論文レビュー] Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder

Hyungrok Ham, Tae Joon Jun+1 more|arXiv (Cornell University)|Feb 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 13

ひとこと要約

本稿では、生成器の訓練を安定化させるために変分オートエンコーダー（VAE）を用いて事前学習するUnbalanced GANsという手法を提案する。これは、識別器の収束が生成器よりも速くなることによるGAN訓練の不安定性を防ぐことを目的としている。事前学習済みのVAEデコーダーで生成器を初期化することで、訓練の安定性が向上し、モード崩壊が軽減され、MNIST、CIFAR-10、LSUN Bedroomの各データセットにおいて、初期エポックでの収束が速く、画像品質も向上する。

ABSTRACT

We propose Unbalanced GANs, which pre-trains the generator of the generative adversarial network (GAN) using variational autoencoder (VAE). We guarantee the stable training of the generator by preventing the faster convergence of the discriminator at early epochs. Furthermore, we balance between the generator and the discriminator at early epochs and thus maintain the stabilized training of GANs. We apply Unbalanced GANs to well known public datasets and find that Unbalanced GANs reduce mode collapses. We also show that Unbalanced GANs outperform ordinary GANs in terms of stabilized learning, faster convergence and better image quality at early epochs.

研究の動機と目的

• 生成器の収束が識別器よりも遅いために生じるGAN訓練の不安定性を解消すること。
• 生成器と識別器の訓練ダイナミクスを安定化させることで、GANsにおける一般的な失敗モードであるモード崩壊を低減すること。
• 事前学習済みのVAEデコーダーで生成器を初期化することで、GANの初期訓練性能を向上させること。
• GANに適用可能なシンプルでモジュール化された転移学習手法を提供すること。VAE事前学習を用いることで、堅牢かつ広く適用可能である。
• GANアーキテクチャを変更せずに、VAEで生成器を事前学習することで、収束が速く、画像品質が向上することを実証すること。

提案手法

• ターゲットデータセット上で変分オートエンコーダー（VAE）を事前学習し、潜在分布を学習し、現実的な画像を生成する。
• VAEのデコーダーで学習された重みをGANの生成器ネットワークに転送し、標準正規分布に近い分布で初期化する。
• 事前学習済みの生成器をGAN訓練の出発点として使用し、生成器と識別器の間でバランスの取れた学習ダイナミクスを維持する。
• 標準の adversarial loss（例：標準GAN、LSGAN、WGAN）を用いて、事前初期化された生成器でGANを訓練する。これにより、訓練の安定性が向上する。
• VAE事前学習はGAN事前学習に比べて本質的に安定しており、故障しにくいため、信頼性の高い初期化が保証される。
• アーキテクチャの変更なしに、DCGAN、LSGAN、WGANなどのさまざまなGANアーキテクチャと、MNIST、CIFAR-10、LSUN Bedroomなどのさまざまなデータセットにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 VAEでGANの生成器を事前学習することで、訓練の安定性が向上し、モード崩壊が低減するか？
• RQ2 VAEデコーダーで生成器を初期化することで、初期訓練エポックにおける収束が速くなり、画像品質が向上するか？
• RQ3 異なるデータセットおよびアーキテクチャにおいて、Unbalanced GANsの性能は標準GANと比較して、Inceptionスコアおよび損失の分散の観点でどのように異なるか？
• RQ4 提案手法は、アーキテクチャの変更なしに、さまざまなGANバリアントに普遍的に適用可能か？
• RQ5 VAE事前学習は、GANベースの事前学習と比較して、信頼性が高く、故障に強い初期化手法として機能するか？

主な発見

• CIFAR-10において、Unbalanced GANsはすべての訓練エポックで通常のGANよりも高いInceptionスコアを達成しており、時間の経過とともに差が広がり、特にWGANで顕著である。
• Unbalanced WGANは、標準WGANと比較してInceptionスコアで顕著な向上を示しており、画像の質と多様性が向上していることを示している。
• LSUN Bedroomデータセットでは、Unbalanced DCGANは5000エポック目までに構造的に整合性のある寝室のような画像を生成しているのに対し、標準DCGANは意味のないパターンしか生成しない。
• Unbalanced LSGANは完全にモード崩壊を回避しているが、標準LSGANは訓練の初期段階で歪んだ、奇妙なパターンを生成する。
• Unbalanced GANsでは損失がより速く収束し、標準偏差も低く抑えられているため、より安定した訓練ダイナミクスが示されている。
• 事前学習済みのVAEデコーダーは、LSUN Bedroomではぼやけたが構造的に妥当な画像を生成し、GANがその品質を損なわず、より鋭く現実的なサンプルに改善している。