[論文レビュー] MMGAN: Manifold Matching Generative Adversarial Network

Noseong Park, Ankesh Anand+6 more|arXiv (Cornell University)|Jul 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 4

ひとこと要約

本稿では、カーネル埋め込み空間における本物と生成画像特徴の多様体を一致させることで、訓練安定性と生成サンプル品質を向上させる新しいGANフレームワークMMGANを提案する。移動平均を用いた球面多様体と相関に基づく正則化項を採用することで、モード崩壊を低減し、CIFAR-10で7.8の最先端のインceptionスコアを達成した。ユーザーによる評価では、生成画像の32.4％が偽物と識別されたが、これは先行モデルより16％改善された結果である。

ABSTRACT

It is well-known that GANs are difficult to train, and several different techniques have been proposed in order to stabilize their training. In this paper, we propose a novel training method called manifold-matching, and a new GAN model called manifold-matching GAN (MMGAN). MMGAN finds two manifolds representing the vector representations of real and fake images. If these two manifolds match, it means that real and fake images are statistically identical. To assist the manifold-matching task, we also use i) kernel tricks to find better manifold structures, ii) moving-averaged manifolds across mini-batches, and iii) a regularizer based on correlation matrix to suppress mode collapse. We conduct in-depth experiments with three image datasets and compare with several state-of-the-art GAN models. 32.4% of images generated by the proposed MMGAN are recognized as fake images during our user study (16% enhancement compared to other state-of-the-art model). MMGAN achieved an unsupervised inception score of 7.8 for CIFAR-10.

研究の動機と目的

• 本物と生成画像の特徴多様体をカーネル埋め込み空間で一致させることで、GANの訓練における不安定性とモード崩壊の問題を解決する新しい訓練目的を導入する。
• 高次元のカーネル空間における本物データの特徴多様体と生成特徴多様体を密接に一致させることで、生成画像の品質と多様性を向上させる。
• 局所的最適化の落とし穴を避けるために、ミニバッチ across での移動平均を用いた多様体推定により、訓練を安定化させる。
• 生成特徴の相関行列に基づく新しい正則化項を導入し、モード崩壊を抑制する。
• DCGAN や IGAN といった最先端のGANと比較して、標準ベンチマーク（MNIST、CelebA、CIFAR-10）で優れた性能を示すことを実証する。

提案手法

• 生成画像特徴表現の最後の層から抽出された本物と生成画像の球面多様体を一致させる多様体一致損失関数を提案する。
• 特徴をより高次元空間に非表示的にマップするためのカーネルトリック（RBFおよび指数カーネル）を用い、多様体構造をより信頼性高く捉える。
• ミニバッチ across での指数的加重移動平均を用いて、本物および生成データ多様体の中心点と半径を安定的に推定する。
• 生成特徴間の相関が高いのを抑えるために、相関に基づく正則化項を導入し、多様性を促進し、モード崩壊を防止する。
• DCGAN および IGAN のアーキテクチャに多様体一致損失を統合し、元の損失関数を置き換えつつ、ネットワーク構造は維持する。
• カーネル化された多様体一致目的関数を用いて、本物と偽物の特徴多様体の推定された距離を最小化するように生成器を訓練する。

実験結果

リサーチクエスチョン

• RQ1 カーネル埋め込み空間における本物と生成画像特徴の多様体一致は、GANの訓練安定性とサンプル品質を向上させ得るか？
• RQ2 ミニバッチ across での移動平均を用いた多様体推定は、局所的ミニバッチ一致よりもより頑健で一貫性のある多様体推定を可能にするか？
• RQ3 相関に基づく正則化項は、生成サンプルの多様性を促進することで、GANにおけるモード崩壊を効果的に抑制できるか？
• RQ4 標準的なGAN目的関数と比較して、提案手法の多様体一致損失は、標準データセットにおけるインセプションスコアおよび人間評価で優れた性能を示すか？
• RQ5 多様体一致は、MNIST、CelebA、CIFAR-10といった多様なデータセットにおいて、一般化性能と画像生成の現実性をどの程度向上させるか？

主な発見

• MMGANはCIFAR-10で7.8の非教師ありインセプションスコアを達成し、DCGAN（6.8）およびIGAN（6.86）を上回り、最先端の性能を示した。
• ユーザーによる評価では、MMGANが生成した画像の32.4％が偽物と識別された。これは、次に優れたモデル（DCGANの38.2％）と比較して16％の改善を示し、実像の認識度が向上したことを意味する。
• 提案された相関に基づく正則化項は多様性を顕著に向上させた。この正則化項を導入しない場合、MMGANはDCGANを下回る性能を示し、モード崩壊防止におけるその重要性を示している。
• MNISTでは、MMGANの偽画像検出率は32.4％に低下したが、DCGANは38.2％であった。本物画像の正答率が14％という高いベースラインにもかかわらず、視覚的リアリズムが向上した。
• CelebAでは、DCGANおよびMMGANともに頻繁に偽物と識別されたが、MMGANはユーザー評価においてDCGANに比べてわずかだが一貫した改善を示した。
• RBFおよび指数カーネルを用いたカーネルトリックにより、より信頼性の高い多様体推定が可能になった。RBFカーネルはほとんどの設定で指数カーネルを上回る性能を示した。