[論文レビュー] MMGAN: Manifold Matching Generative Adversarial Network for Generating Images.

Noseong Park, Ankesh Anand+6 more|arXiv (Cornell University)|Jul 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 3

ひとこと要約

この論文では、識別器の最終層における実画像特徴と生成画像特徴の多様体を一致させることで、安定性と画像品質を向上させる新しいGAN訓練手法MMGANを提案する。カーネルトリックを活用して多様体整合性を向上させることで、複数のデータセットおよび最先端のGANアーキテクチャにおいて優れた性能を達成し、より安定した訓練と高品質な画像生成を実現している。

ABSTRACT

Generative adversarial networks (GANs) are considered as a totally different type of generative models. However, it is well known that GANs are very hard to train. There have been proposed many different techniques in order to stabilize their training procedures. In this paper, we propose a novel training method called manifold matching and a new GAN model called manifold matching GAN (MMGAN). In MMGAN, vector representations extracted from the last layer of the discriminator are used to train the generator. It finds two manifolds representing vector representations of real and fake images. If these two manifolds are matched, it means that real and fake images are identical in the perspective of the discriminator because the manifolds are constructed from the discriminator's last layer. In general, it is much easier to train the discriminator and it becomes more accurate as epoch goes by. This implies that the manifold matching also becomes very accurate as the discriminator is trained. We also use the kernel trick to find better manifolds. We conduct in-depth experiments with three image datasets and several state-of-the-art GAN models. Our experiments demonstrate the efficacy of the proposed MMGAN model.

研究の動機と目的

• GANの訓練に内在する不安定性と難易度を解消すること。これは、しばしばモード崩壊や収束不良を引き起こす。
• 識別器が学習した特徴表現を監視信号として活用することで、生成器の訓練を改善すること。
• 識別器の最終層における実画像と偽物画像の特徴多様体を一致させることで、生成画像が実画像と区別できなくなるように保証すること。
• 訓練に伴い精度が向上する識別器を活用することで、多様体マッチングの正確性を向上させること。
• カーネルベースの多様体マッチングが、多様な画像データセットにおけるGAN性能の向上に寄与するかを評価すること。

提案手法

• 本手法は、識別器の最終層からのベクトル表現を、実画像および偽物画像の特徴埋め込みとして使用する。
• これらの埋め込みに基づいて、実画像からの1つの多様体と、生成画像（偽物）からの1つの多様体を構築する。
• 潜在空間における2つの多様体間の距離を最小化することで多様体マッチングを実行し、生成器が実データと同じ多様体上に位置するサンプルを生成するよう促進する。
• 特徴空間を高次元の再生核ヒルバート空間に写像するためのカーネルトリックを適用し、より効果的な多様体整合性を実現する。
• 生成器は、識別器の進化する特徴空間を監視信号として用いることで、偽物画像多様体が実画像多様体と一致するように訓練される。
• 訓練プロセスは、識別器と生成器の更新を交互に繰り返し、生成器は識別器の最終層から導出される多様体マッチング損失によって指導される。

実験結果

リサーチクエスチョン

• RQ1 識別器の最終層における実画像と偽物画像の特徴多様体を一致させることで、GANの訓練安定性と画像品質が向上するか？
• RQ2 カーネルトリックの使用が、GANにおける多様体マッチング性能をどのように向上させるか？
• RQ3 識別器が学習した特徴空間を監視信号として活用することで、標準のGAN目的関数と比較して生成器の最適化が改善されるか？
• RQ4 MMGANは多様なデータセットおよびさまざまな最先端のGANアーキテクチャにおいてどのように性能を発揮するか？
• RQ5 多様体マッチングは、モード崩壊を低減し、生成画像の多様性を向上させることができるか？

主な発見

• MMGANは、ベースラインのGANモデルと比較してより安定した訓練ダイナミクスを達成し、モード崩壊のリスクを低減している。
• カーネルベースの多様体マッチングの使用により、実画像と偽物画像の特徴多様体間の整合性が向上し、高精細な画像生成が実現された。
• 3つの画像データセットにおける実験から、MMGANは複数の評価指標において一貫して画像品質を向上させた。
• 本手法は、訓練の経過とともに精度が向上する識別器の特徴表現を活用することで、生成器の性能を向上させた。
• 視覚的品質および定量的指標の両面で、MMGANは複数の最先端GANモデルを上回る性能を示し、その有効性を確認した。
• 多様体マッチング損失は、質的および定量的分析により、生成画像が実画像と区別がつかないよう生成器を効果的に誘導していることが確認された。