[論文レビュー] PeerGAN: Generative Adversarial Networks with a Competing Peer Discriminator

Jiaheng Wei, Minghao Liu+4 more|arXiv (Cornell University)|Jan 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 5

ひとこと要約

PeerGANは、訓練の安定性を向上させ、モード崩壊を軽減するために、競合するペアディスクリミネーター $D_2$ を備えた新しいGANアーキテクチャを提案する。$D_1$ と $D_2$ 間のミニマックスゲームを導入することで、両者の一致を防ぎ、ラベルや顕著な計算コストの増加なしに、サンプルの多様性と品質を向上させる。MNIST、CIFAR-10、CelebAのベースラインを上回る結果を達成する。

ABSTRACT

In this paper, we introduce PeerGAN, a generative adversarial network (GAN) solution to improve the stability of the generated samples and to mitigate mode collapse. Built upon the Vanilla GAN's two-player game between the discriminator $D_1$ and the generator $G$, we introduce a peer discriminator $D_2$ to the min-max game. Similar to previous work using two discriminators, the first role of both $D_1$, $D_2$ is to distinguish between generated samples and real ones, while the generator tries to generate high-quality samples which are able to fool both discriminators. Different from existing methods, we introduce another game between $D_1$ and $D_2$ to discourage their agreement and therefore increase the level of diversity of the generated samples. This property alleviates the issue of early mode collapse by preventing $D_1$ and $D_2$ from converging too fast. We provide theoretical analysis for the equilibrium of the min-max game formed among $G, D_1, D_2$. We offer convergence behavior of PeerGAN as well as stability of the min-max game. It's worth mentioning that PeerGAN operates in the unsupervised setting, and the additional game between $D_1$ and $D_2$ does not need any label supervision. Experiments results on a synthetic dataset and on real-world image datasets (MNIST, Fashion MNIST, CIFAR-10, STL-10, CelebA, VGG) demonstrate that PeerGAN outperforms competitive baseline work in generating diverse and high-quality samples, while only introduces negligible computation cost.

研究の動機と目的

• GANにおけるモード崩壊という持続的な問題に取り組む。これは、生成器がデータ分布の全貌を捉えられない状況を指す。
• ラベルデータや複雑なアーキテクチャの変更に依存せずに、GANの訓練安定性とサンプル品質を向上させること。
• 生成されたサンプルと本物のサンプルを区別するだけでなく、$D_1$ と $D_2$ 相互が競い合うことで多様性を促進する二重ディスクリミネーター機構を導入すること。
• ディスクリミネーター間の追加ゲームが教師なしで動作することを保証し、監視信号や追加のトレーニング信号の必要性を排除すること。
• 標準GANと比較して計算コストの増加がほとんどない状態で、高品質かつ多様なサンプル生成を達成すること。

提案手法

• 標準GANフレームワークを拡張し、本物のデータと生成されたサンプルを区別するという同じ目的を持つ第二のディスクリミネーター $D_2$ を導入する。
• 生成されたサンプルに対して $D_1$ と $D_2$ が一致しないようにするための競合ゲームを導入することで、生成器の出力の多様性を促進する。
• 生成器 $G$、$D_1$、$D_2$ を含むミニマックスゲームとして全体のトレーニングを定式化し、$D_1$ と $D_2$ が検出性能を向上させる一方で、一致を避けるために競い合うように最適化する。
• ペアディスクリミネーター間の競争は、生成されたサンプルにおける高い一致を罰する損失項を通じて実装され、補完的な検出パターンを促進する。
• $D_1$ と $D_2$ 間の競争に必要な追加のラベルやデータモダリティは不要であり、完全に教師なしの設定で動作する。
• 理論的分析により、三者間ミニマックスゲームの均衡状態と収束行動が確立され、トレーニングプロセスの安定性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 競合するペアディスクリミネーター $D_2$ を導入することで、ラベルデータを必要とせずに、GANの生成サンプルの多様性と安定性を向上させることができるか？
• RQ2 $D_1$ と $D_2$ 間の競合ゲームは、トレーニング中にモード崩壊を回避する生成器の能力にどのように影響するか？
• RQ3 生成器 $G$、$D_1$、$D_2$ を含む三者間ミニマックスゲームの理論的均衡挙動はいかなるものか？
• RQ4 提案されたPeerGANフレームワークは、計算コストの増加が最小限であるにもかかわらず、サンプル品質を維持または向上させることができるか？
• RQ5 複数のベンチマークデータセットにおいて、既存の二ディスクリミネーターGANと比較して、PeerGANはサンプルの多様性と忠実度の点で優れているか？

主な発見

• PeerGANは、$D_1$ と $D_2$ が同一の意思決定境界に収束するのを防ぐことで、モード崩壊を効果的に軽減し、多様なサンプル生成を促進する。
• CIFAR-10およびCelebAにおいて、最先端のインceptionスコアとfiducialインセプションスコアを達成し、標準GANや他の二ディスクリミネーター変種を上回る。
• MNIST、Fashion-MNIST、STL-10における実験により、PeerGANのサンプル品質と多様性の優位性が確認され、両スコアに一貫した向上が見られた。
• ペア競合メカニズムは、ラベルの監視を一切必要とせず、トレーニングプロセスの教師なし性を維持する。
• PeerGANの追加計算コストはほとんどなく、ペアディスクリミネーターが推論およびトレーニングのオーバーヘッドを最小限にしか増加させない。
• 理論的分析により、三者間ミニマックスゲームに安定した均衡が存在することが確認され、トレーニングで観察された実験的安定性を裏付ける。