[論文レビュー] Overcoming Mode Collapse with Adaptive Multi Adversarial Training

Karttikeya Mangalam, Rohin Garg|arXiv (Cornell University)|Dec 29, 2021

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）の訓練フレームワークとして、モード崩壊を是正するための動的かつ適応的な追加ディスクライマの生成を可能にする、新たなアプローチである適応的マルチ対抗訓練（AMAT）を提案する。この手法は、ディスクライマにおける深刻な忘却を軽減することで、モードカバレッジと訓練の安定性を向上させる。記憶された例示データを用いて、忘却が検出された段階で新たなディスクライマを生成することで、学習済みのモードを保持する。このアプローチにより、複数のGANアーキテクチャにおいて、構造的変更なしに最先端のFIDスコアと向上したインセプションスコアを達成した。

ABSTRACT

Generative Adversarial Networks (GANs) are a class of generative models used for various applications, but they have been known to suffer from the mode collapse problem, in which some modes of the target distribution are ignored by the generator. Investigative study using a new data generation procedure indicates that the mode collapse of the generator is driven by the discriminator's inability to maintain classification accuracy on previously seen samples, a phenomenon called Catastrophic Forgetting in continual learning. Motivated by this observation, we introduce a novel training procedure that adaptively spawns additional discriminators to remember previous modes of generation. On several datasets, we show that our training scheme can be plugged-in to existing GAN frameworks to mitigate mode collapse and improve standard metrics for GAN evaluation.

研究の動機と目的

• GANにおける持続的なモード崩壊の問題に対処すること。これは、データの多様性が低く、訓練が不安定になる要因である。
• 継続的訓練におけるディスクライマの危険な忘却と関連づけた、モード崩壊の根本的要因を解明すること。
• 既存のGANフレームワークを容易に拡張できる、プラグイン型のソリューションを開発し、学習済みのモードを保持するための動的ディスクライマ追加を実現すること。
• 合成データおよび実世界のデータセットを用いた検証により、モードカバレッジと評価指標の向上を示すこと。

提案手法

• 以前に生成されたモードからの例示データを保持し、そのデータに対するディスクライマの精度をモニタリングすることで、危険な忘却の検出を行うメカニズムを導入する。
• 忘却が検出された場合、その忘れられたモードに特化した新たなディスクライマを生成・訓練し、その分類能力を維持する。
• 各モードからの例示データを訓練中に保存し、忘却の検出とディスクライマ生成のためのメモリバンクとして利用する。
• 新しいディスクライマが追加されるたびに、忘却閾値と学習率スケーリング係数を段階的に増加させることで、学習の安定性を高める。
• 正規化フローを用いた合成データ生成手順により、高次元でのモード崩壊と回復の可視化を2次元投影で行える。
• 本フレームワークは、いかなる既存のGANアーキテクチャとも互換性があり、生成器やディスクライマネットワークを変更せずにシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ディスクライマにおける危険な忘却が、GANにおけるモード崩壊を引き起こすのか？
• RQ2 適応的ディスクライマ生成によって、忘れられたデータモードの記憶を保持することで、モード崩壊を是正できるのか？
• RQ3 標準ベンチマークにおいて、AMATは標準的なGANや他のモード崩壊軽減手法と比較して、どのように性能を発揮するのか？
• RQ4 構造的変更なしに、多様なGANアーキテクチャに効果的に適用可能なのか？
• RQ5 合成データ生成手順により、モード崩壊のダイナミクスの信頼性のある可視化と分析が可能になるのか？

主な発見

• AMATは、全テスト対象のGANでFIDスコアを顕著に低減した：DCGANでは34.7から30.14に、ResNetGANでは36.4から16.35に、WGAN-GPでは19.1から17.2に、SN-GANでは14.5から13.8に、BigGANでは10.5から6.11に低下した。
• ディスクライマ容量を同等に保ったまま、単一ディスクライマモデルはAMATの性能を達成できず、容量そのものがモード崩壊を解消するわけではないことを示した。
• 784次元の合成8ガウスラベルリングデータセットにおいて、AMATはわずか2つの追加ディスクライマで全8モードを正常に回復したが、ヴァニラGANはサイクル的モード崩壊を示した。
• インセプションスコアは、DCGANで5.97から6.32に、ResNetGANで6.59から8.10に、WGAN-GPで7.72から7.80に、SN-GANで8.24から8.34に、BigGANで9.14から9.51に向上した。
• 本手法は頑健で汎用的であり、DCGAN、ResNetGAN、WGAN-GP、SN-GAN、BigGANを含む多様なアーキテクチャで一貫した改善を示した。
• 合成データ生成手順により、モード崩壊と回復の明確な可視化が可能となり、忘却が崩壊の主要因であることを確認した。