[論文レビュー] Memorization Precedes Generation: Learning Unsupervised GANs with Memory Networks

Youngjin Kim, Minjung Kim+1 more|arXiv (Cornell University)|Feb 15, 2018

Generative Adversarial Networks and Image Synthesis被引用数 20

ひとこと要約

本稿では、潜在空間内の構造的不連続性と敵対的訓練中の識別器の忘却を軽減するために、学習可能なメモリネットワークを統合した非教師あり GAN フレームワークである memoryGAN を提案する。生成器と識別器が共有メモリにアクセスできるようにすることで、表現学習と訓練安定性が向上し、最適化テクニックに依存せずに CIFAR10 で最先端のインceptionスコアを達成する。

ABSTRACT

We propose an approach to address two issues that commonly occur during training of unsupervised GANs. First, since GANs use only a continuous latent distribution to embed multiple classes or clusters of data, they often do not correctly handle the structural discontinuity between disparate classes in a latent space. Second, discriminators of GANs easily forget about past generated samples by generators, incurring instability during adversarial training. We argue that these two infamous problems of unsupervised GAN training can be largely alleviated by a learnable memory network to which both generators and discriminators can access. Generators can effectively learn representation of training samples to understand underlying cluster distributions of data, which ease the structure discontinuity problem. At the same time, discriminators can better memorize clusters of previously generated samples, which mitigate the forgetting problem. We propose a novel end-to-end GAN model named memoryGAN, which involves a memory network that is unsupervisedly trainable and integrable to many existing GAN models. With evaluations on multiple datasets such as Fashion-MNIST, CelebA, CIFAR10, and Chairs, we show that our model is probabilistically interpretable, and generates realistic image samples of high visual fidelity. The memoryGAN also achieves the state-of-the-art inception scores over unsupervised GAN models on the CIFAR10 dataset, without any optimization tricks and weaker divergences.

研究の動機と目的

• 複数のデータクラスタにわたる一様な連続的潜在分布が原因で生じる非教師あり GAN の潜在空間における構造的不連続性を解消すること。
• 敵対的訓練中に、識別器が以前に生成されたサンプルの知識を保持できなくなる「識別器の忘却」を緩和すること。
• 非教師あり GAN における生成器と識別器の両方の性能を向上させる、学習可能でエンドツーエンドで訓練可能なメモリネットワークを設計すること。
• さまざまなデータセットにおいて、生成サンプルの確率的解釈可能性と視覚的忠実度を向上させること。
• 最適化テクニックや弱い分布差の損失に依存せずに、CIFAR10 で最先端のインceptionスコアを達成すること。

提案手法

• 本稿では、実データおよび生成データのサンプル表現を保存・取得できるメモリネットワークを導入し、生成器と識別器が共有してアクセスできるようにする。
• 生成器が保存されたデータ表現に注目できるように、微分可能メモリの読み書きメカニズムを採用し、クラスタに配慮した生成を向上させる。
• 過去に生成されたサンプルの記憶を保持するメモリアugmented識別器を採用し、忘却を低減し、訓練を安定化させる。
• 既存の GAN アーキテクチャにプラグインモジュールとしてメモリネットワークを統合し、さまざまな GAN 変種との互換性を確保する。
• 標準的な GAN 目的関数を用いて、メモリの更新をバックプロパゲーションによって行うエンドツーエンドの訓練を実施する。
• メモリベースの注目メカニズムを活用し、生成器が潜在的なデータクラスタ分布をよりよく理解できるようにする。

実験結果

リサーチクエスチョン

• RQ1 共有メモリネットワークは、非教師あり GAN の潜在空間における構造的不連続性を低減できるか？
• RQ2 メモリアugmented訓練は、敵対的訓練中の識別器の忘却をどの程度低減するか？
• RQ3 memoryGAN は、生成サンプルの確率的解釈可能性と視覚的質をどのように向上させるか？
• RQ4 memoryGAN は、アーキテクチャ的・最適化的テクニックに依存せずに、CIFAR10 のような標準ベンチマークで最先端の性能を達成できるか？
• RQ5 メモリネットワークは、さまざまなデータセットにおける GAN 訓練の安定性と収束性をどのように向上させるか？

主な発見

• memoryGAN は、最適化テクニックや弱い分布差の損失に依存せずに、非教師あり GAN モデルの中で CIFAR10 で最先端のインセプションスコアを達成した。
• 本モデルは、Fashion-MNIST、CelebA、Chairs データセットにおいて、高精細な画像を生成し、視覚的質が向上した。
• メモリネットワークにより、異なるデータクラスタ間の潜在空間の不連続性が低減され、より良い表現学習が可能になった。
• memoryGAN の識別器は、訓練ダイナミクスが安定し、時間経過とともに一貫した性能を示すことで、忘却が減少していることが裏付けられた。
• 本モデルは確率的解釈可能であり、メモリアクセスパターンが意味のあるデータクラスタ構造を反映していた。
• メモリネットワークは、さまざまな GAN アーキテクチャに成功裏に統合され、広範な互換性と有効性を示した。