[論文レビュー] MGGAN: Solving Mode Collapse using Manifold Guided Training

Duhyeon Bang, Hyunjung Shim|arXiv (Cornell University)|Apr 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 31

ひとこと要約

本稿では、固定された事前学習済み自己符号化器ベースのガイダンスネットワークを導入することで、すべてのデータ分布モードにわたる生成器の学習を強制することにより、モード崩壊を緩和する新しいGAN学習フレームワークMGGANを提案する。自己符号化器の潜在表現から導出された多様体空間における対抗損失を活用することで、アーキテクチャや損失関数の見直しを伴わずに、高品質な画像を生成しながらも、顕著に高いサンプル多様性を達成する。

ABSTRACT

Mode collapse is a critical problem in training generative adversarial networks. To alleviate mode collapse, several recent studies introduce new objective functions, network architectures or alternative training schemes. However, their achievement is often the result of sacrificing the image quality. In this paper, we propose a new algorithm, namely a manifold guided generative adversarial network (MGGAN), which leverages a guidance network on existing GAN architecture to induce generator learning all modes of data distribution. Based on extensive evaluations, we show that our algorithm resolves mode collapse without losing image quality. In particular, we demonstrate that our algorithm is easily extendable to various existing GANs. Experimental analysis justifies that the proposed algorithm is an effective and efficient tool for training GANs.

研究の動機と目的

• 生成器が真のデータ分布のすべてのモードを捉えられないという、GAN学習における長年の課題に対処すること。
• 画像品質を犠牲にすることなく、訓練の安定性とサンプル多様性を向上させること。これは、従来の手法でしばしば見られるトレードオフである。
• 固定された事前学習済みの多様体マッピングを活用することで、生成器がデータ分布の主なモードおよび小さなモードをすべて学習できるようにすること。
• 生成器の制約を強めすぎず、生成器と識別器の両方に過度に制限を加えずに、弱い双方向マッピング機構を導入すること。
• 元の損失関数や訓練ダイナミクスの変更を要せず、さまざまな既存のGANアーキテクチャとの互換性と拡張性を確保すること。

提案手法

• 標準的なGANアーキテクチャに、実画像を共通の多様体空間にマップする事前学習済みエンコーダーを備えたガイダンスネットワークを統合する。
• エンコーダーの潜在表現を、完全なデータ多様体の代理として使用し、真の分布のすべてのモードが保持されることを保証する。
• 対抗損失を用いて、多様体空間上で実サンプルと生成サンプルの分布を比較する識別器を訓練する。
• GANの訓練中に自己符号化器のエンコーダーを固定することで、誤差伝搬を防ぎ、安定した多様体表現を維持する。
• 多様体空間から潜在空間への追加の全結合ネットワークを介して、弱い双方向マッピングを実現し、再構成と潜在空間内挿を可能にする。
• 主な識別器と多様体空間での識別器の両方で、対抗損失のみを用いることで、標準的なGANの訓練ダイナミクスを維持し、訓練の安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 固定された事前学習済み自己符号化器の潜在空間は、データ分布のすべてのモードを学習するための有効な多様体として機能するか？
• RQ2 多様体空間での識別器を組み込むことで、画像品質の劣化を伴わずにモードカバレッジが向上するか？
• RQ3 提案されたガイダンス機構は、アーキテクチャの変更なしに、さまざまな既存のGANアーキテクチャへ容易に拡張可能か？
• RQ4 多様体空間と潜在空間を介した弱い双方向マッピングは、どの程度サンプル多様性と再構成忠実度を向上させるか？
• RQ5 生成器は意味的で連続的な潜在空間構造を学習しており、記憶に依存するのではなく一般化していると見なせるか？

主な発見

• MGGANは、DCGAN-MG、LSGAN-MG、DRAGAN-MG、DFM-MGといった複数のGANバリアントにおいて、画像品質の劣化を伴わず、モード崩壊を効果的に解消した。
• 再構成実験の結果、MGGANが生成する画像は、性別、眼鏡、背景色といった重要な属性を保持しており、ALIのような双方向モデルを上回る性能を示した。
• 潜在空間内挿結果から、生成画像間の滑らかで意味のある遷移が得られ、生成器が意味的で連続的な潜在空間の構造を学習していることが示された。
• 完全なデータ多様体に基づくガイダンスネットワークのフィードバックにより、生成器は主なモードだけでなく、小さなモードも学習し、より高いサンプル多様性を達成した。
• 固定された自己符号化器エンコーダーにより、誤差伝搬が防止され、訓練の安定性が維持された。これは、多様なGANアーキテクチャにおいて一貫した性能を示すことで確認された。
• 定量的・定性的な評価から、MGGANが最先端の多様性を達成しながらも、高精細な画像生成を維持していることが確認され、その有効性と汎用性が裏付けられた。