[論文レビュー] Generative Adversarial Networks with Decoder-Encoder Output Noise

Guoqiang Zhong, Wei Gao+2 more|arXiv (Cornell University)|Jul 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 9

ひとこと要約

本稿では、事前学習済みのデコーダ-エンコーダーオートエノードを介してランダムノイズを処理することで、より情報豊かな潜在ベクトルを生成する、画像生成を向上させる新規の生成的対抗ネットワークであるDE-GANsを提案する。変分ベイジアン推論と隠れ空間損失を組み合わせることで、収束を加速させ、画像品質を向上させ、MNIST、CelebA、CIFAR-10においてFIDに類似した精度が高く、潜在空間の構造が滑らかになる。

ABSTRACT

In recent years, research on image generation methods has been developing fast. The auto-encoding variational Bayes method (VAEs) was proposed in 2013, which uses variational inference to learn a latent space from the image database and then generates images using the decoder. The generative adversarial networks (GANs) came out as a promising framework, which uses adversarial training to improve the generative ability of the generator. However, the generated pictures by GANs are generally blurry. The deep convolutional generative adversarial networks (DCGANs) were then proposed to leverage the quality of generated images. Since the input noise vectors are randomly sampled from a Gaussian distribution, the generator has to map from a whole normal distribution to the images. This makes DCGANs unable to reflect the inherent structure of the training data. In this paper, we propose a novel deep model, called generative adversarial networks with decoder-encoder output noise (DE-GANs), which takes advantage of both the adversarial training and the variational Bayesain inference to improve the performance of image generation. DE-GANs use a pre-trained decoder-encoder architecture to map the random Gaussian noise vectors to informative ones and pass them to the generator of the adversarial networks. Since the decoder-encoder architecture is trained by the same images as the generators, the output vectors could carry the intrinsic distribution information of the original images. Moreover, the loss function of DE-GANs is different from GANs and DCGANs. A hidden-space loss function is added to the adversarial loss function to enhance the robustness of the model. Extensive empirical results show that DE-GANs can accelerate the convergence of the adversarial training process and improve the quality of the generated images.

研究の動機と目的

• GANで生成される画像のぼやけ具合と多様性の不足を改善するため、入力ノイズの事前分布を向上させること。
• 対抗学習と変分推論を統合し、データの内在的分布をよりよく捉えること。
• 構造的なノイズ事前分布を用いることで、GAN学習の収束を加速させ、安定性を向上させること。
• MNIST、CelebA、CIFAR-10のような多様なデータセットにおいて、生成画像の品質と意味的整合性を向上させること。

提案手法

• 標準的なガウスノイズを、データ分布を反映するより情報豊かな潜在ベクトルに変換するため、事前学習済みのデコーダ-エンコーダーオートエノードを用いる。
• 生成器は、元のガウスノイズの代わりに、こうした精錬されたノイズベクトルを入力とすることで、潜在空間の初期化を改善できる。
• 生成器の潜在空間の正則化と耐性向上のため、対抗損失に加えて隠れ空間損失を導入する。
• オートエノードは、GANと同一のデータセットで学習させることで、学習済み事前分布とデータマンフォールドの整合性を保証する。
• 生成器と識別器の間で対抗学習を実施し、生成器は変換されたノイズに条件付けられる。
• 主成分分析を用いて、ガウスノイズからより構造的でスパースな後方分布への分布シフトを可視化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みオートエノードを介してランダムノイズを精錬することで、GANで生成される画像の品質と多様性が向上するか？
• RQ2 GANノイズ空間に変分ベイジアン事前分布を組み込むことで、学習の収束が加速するか？
• RQ3 DE-GANsの潜在空間の構造は、標準GANやVAEと比較して滑らかさと分離性の観点でどのように異なるか？
• RQ4 隠れ空間損失は、対抗学習の安定性と性能をどの程度向上させるか？
• RQ5 DE-GANsは、MNIST、CelebA、CIFAR-10のような多様な画像データセットに一般化可能で、一貫した改善効果を示すか？

主な発見

• CIFAR-10では、事前学習済み分類器を用いたテスト分類精度が78.0%に達し、DCGANs（75.2%）やVAEs（38.5%）を顕著に上回った。
• MNISTでは、CNNによる分類で生成された数字の99.1%が正しく分類され、高品質で多様な数字生成が実現した。
• デコーダ-エンコーダーによる情報豊かな事前分布のおかげで、DCGANsよりも高速に収束し、わずか2エポックで98%のテスト精度に達した。
• PCAを用いた可視化により、後方ノイズベクトルが元のガウスノイズよりもスパースで構造的であることが示され、より良い事前分布モデリングが行われたことが裏付けられた。
• DE-GANsの潜在空間は滑らかで連続的な構造を示し、CelebAにおける顔画像間のリアルな補間が可能になった。
• rdd指標により、DE-GANsがMNISTの多様性を保持しており、手書き文字とタイプライター文字をDCGANsよりも効果的に分離していた。