[論文レビュー] Generative Adversarial Mapping Networks

Jianbo Guo, Guangxiang Zhu+1 more|arXiv (Cornell University)|Sep 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 3

ひとこと要約

本稿では、特徴空間における分布マッチングを向上させるために敵対的マッパー関数 F を導入した、GANに基づく新規生成モデルである生成的対抗マッピングネットワーク（GAMN）を提案する。生成器 G とマッパー F を特徴空間における MMD を最小化するように同時に学習させることで、GAMN は CIFAR-10 および LSUN-Bedrooms において GMMN や GMMN+AE よりも優れたサンプル品質を達成し、バッチサイズの要件を低減するとともに、学習安定性が向上する。

ABSTRACT

Generative Adversarial Networks (GANs) have shown impressive performance in generating photo-realistic images. They fit generative models by minimizing certain distance measure between the real image distribution and the generated data distribution. Several distance measures have been used, such as Jensen-Shannon divergence, $f$-divergence, and Wasserstein distance, and choosing an appropriate distance measure is very important for training the generative network. In this paper, we choose to use the maximum mean discrepancy (MMD) as the distance metric, which has several nice theoretical guarantees. In fact, generative moment matching network (GMMN) (Li, Swersky, and Zemel 2015) is such a generative model which contains only one generator network $G$ trained by directly minimizing MMD between the real and generated distributions. However, it fails to generate meaningful samples on challenging benchmark datasets, such as CIFAR-10 and LSUN. To improve on GMMN, we propose to add an extra network $F$, called mapper. $F$ maps both real data distribution and generated data distribution from the original data space to a feature representation space $\mathcal{R}$, and it is trained to maximize MMD between the two mapped distributions in $\mathcal{R}$, while the generator $G$ tries to minimize the MMD. We call the new model generative adversarial mapping networks (GAMNs). We demonstrate that the adversarial mapper $F$ can help $G$ to better capture the underlying data distribution. We also show that GAMN significantly outperforms GMMN, and is also superior to or comparable with other state-of-the-art GAN based methods on MNIST, CIFAR-10 and LSUN-Bedrooms datasets.

研究の動機と目的

• CIFAR-10 や LSUN-Bedrooms といった複雑なデータセットにおいて、生成的モーメントマッチングネットワーク（GMMN）が現実的なサンプルを生成できない問題に対処すること。
• GMMN や GMMN+AE が要求する高バッチサイズと低品質なサンプルを克服するため、動的で敵対的に学習されるマッパー関数を導入すること。
• 最大平均乖離（MMD）の理論的利点を GAN の敵対的訓練フレームワークと統合し、より安定的かつ効果的な分布学習を実現すること。
• 固定オートエンコーダーを必要としたり、複雑な正則化を要する既存の MMD に基づくモデルの代替として、より単純かつ強力な手法を開発すること。
• エンドツーエンドで共同訓練されるマッパー関数が、高精細な画像生成における生成器の性能を顕著に向上させられることを実証すること。

提案手法

• 生成器 G とマッパー F から構成される新規生成モデル GAMN を導入し、両者を敵対的に同時に学習させる。
• マッパー F を用いて、元のデータ空間の実データと生成されたサンプルを、より低い次元の特徴表現空間 R にマッピングする。
• 生成器 G を、特徴空間 R における実データ分布と生成データ分布の間の最大平均乖離（MMD）を最小化するように学習させる。
• マッパー F を、特徴空間 R における実分布と生成分布の間の MMD を最大化するように学習させ、生成器に対する動的敵対者として機能させる。
• カーネルベースの MMD 評価器を用いて、マッピングされた分布間の距離を計算し、効率的かつバイアスのない最適化を可能にする。
• 標準的なバックプロパゲーションを用いて生成器とマッパーをエンドツーエンドで同時に学習させ、GMMN+AE で必要とされる事前学習や固定エンコーダーの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 敵対的に学習されるマッパー関数は、モーメントマッチングフレームワークにおける生成器の分布マッチング能力を向上させることができるか？
• RQ2 動的マッパーを生成器と共に共同で学習させることで、GMMN+AE で用いられる固定オートエコーダーと比較して、より優れたサンプル品質が得られるか？
• RQ3 GAMN は、CIFAR-10 や LSUN-Bedrooms といった挑戦的なベンチマークで最先端の性能を達成できるか？ また、必要なバッチサイズを低減できるか？
• RQ4 インセプションスコアやサンプルの忠実度という観点から、GAMN は他の MMD に基づくモデルや GAN に基づくモデルと比較して、どのように差をつけるか？
• RQ5 特に高次元データ設定において、既存の MMD に基づく生成モデルと比較して、提案フレームワークはより安定的かつスケーラブルであるか？

主な発見

• GAMN は、CIFAR-10 および LSUN-Bedrooms において、GMMN や GMMN+AE よりも顕著に優れたリアルな画像を生成し、質的にも優れたサンプルを生成する。
• CIFAR-10 データセットにおいて、GAMN はインセプションスコア 6.44 を達成し、最近提案された敵対的カーネル学習手法の報告値 6.24 よりわずかに高い。
• 特徴空間における MMD 値は学習過程で一貫して低下し、インセプションスコアの上昇とサンプル品質の向上と相関している。
• GMMN や GMMN+AE が最大 1000 のバッチサイズを必要としていたのに対し、GAMN はそれらよりも必要なバッチサイズを低減している。
• 8 個のガウス分布の混合やスイスロールといったトピのデータセットにおいて、GAMN は WGAN や改善版 WGAN よりも、元のデータ分布をより正確に学習している。
• 敵対的マッパー F は、追加の正則化や固定エンコーダーを必要とせずに、生成器が複雑なデータ構造を捉える能力を高め、より多様で現実的なサンプルを生成可能としている。