[論文レビュー] Spectral Regularization for Combating Mode Collapse in GANs

Kanglin Liu, Wenming Tang+2 more|arXiv (Cornell University)|Aug 29, 2019

Digital Media Forensic Detection参考文献 15被引用数 13

ひとこと要約

本稿では、生成対抗ネットワーク（GANs）におけるモード崩壊を防ぐために、識別器の重み行列における特異値の崩壊であるスペクトル崩壊に焦点を当てた、Spectral Regularization (SR-GANs) という新規手法を提案する。正則化によってスペクトル分布のバランスを保つことで、訓練の安定化を図り、スペクトル正則化（SN-GANs）を上回り、画像生成のための大規模モデルを含む多様なアーキテクチャとデータセット（ImageNetを含む）において、一貫してモード崩壊を防止する。

ABSTRACT

Despite excellent progress in recent years, mode collapse remains a major unsolved problem in generative adversarial networks (GANs).In this paper, we present spectral regularization for GANs (SR-GANs), a new and robust method for combating the mode collapse problem in GANs. Theoretical analysis shows that the optimal solution to the discriminator has a strong relationship to the spectral distributions of the weight matrix.Therefore, we monitor the spectral distribution in the discriminator of spectral normalized GANs (SN-GANs), and discover a phenomenon which we refer to as spectral collapse, where a large number of singular values of the weight matrices drop dramatically when mode collapse occurs. We show that there are strong evidence linking mode collapse to spectral collapse; and based on this link, we set out to tackle spectral collapse as a surrogate of mode collapse. We have developed a spectral regularization method where we compensate the spectral distributions of the weight matrices to prevent them from collapsing, which in turn successfully prevents mode collapse in GANs. We provide theoretical explanations for why SR-GANs are more stable and can provide better performances than SN-GANs. We also present extensive experimental results and analysis to show that SR-GANs not only always outperform SN-GANs but also always succeed in combating mode collapse where SN-GANs fail. The code is available at https://github.com/max-liu-112/SRGANs-Spectral-Regularization-GANs-.

研究の動機と目的

• 最新のモデル（BigGANs や SN-GANs を含む）においても継続的に発生するモード崩壊の問題を解決すること。
• 識別器の重み行列のスペクトル特性を分析することで、モード崩壊の根本的要因を解明すること。
• 識別器重みのスペクトル分布を安定化させることで、モード崩壊を防止する強固な正則化手法を開発すること。
• スペクトル崩壊がモード崩壊の主要な前兆であることを示し、早期検出および防止のための代替指標として利用可能であることを示すこと。
• スペクトル正則化がスペクトル正則化よりも訓練の安定性と生成性能の両面で優れていることを示すこと。

提案手法

• 本手法は、識別器の重み行列のスペクトル分布を監視・補正することで、特異値の崩壊を防ぐスペクトル正則化を導入する。
• すべての層にわたる特異値のバランスの取れた分布を維持するため、スペクトル正則化を拡張した正則化項を追加する。
• 多くの特異値が1に近い状態を維持するように制約を課す。これは理論的に最適なリプシッツ制約に関連している。
• 理論的分析により、重み行列のすべての特異値が正確に1である場合にのみ、リプシッツ制約の上界が達成されることを示している。
• 本手法は訓練中に適用可能であり、BigGANs や SN-GANs で使用される既存のGANアーキテクチャと互換性がある。
• 特に大規模なImageNet訓練において計算コストを低減するため、勾配蓄積を用いる。

実験結果

リサーチクエスチョン

• RQ1 識別器の重み行列におけるスペクトル崩壊と、GANsにおけるモード崩壊の発生との間に強い一貫性のある相関関係があるか？
• RQ2 スペクトル崩壊の防止が、GAN訓練におけるモード崩壊防止の有効な代替指標として機能できるか？
• RQ3 異なるデータセットおよびモデルスケールにおいて、スペクトル正則化はスペクトル正則化（SN-GANs）と比較して安定性と性能に優れているか？
• RQ4 特に大規模な設定において、スペクトル正則化はSN-GANsに比べてInceptionスコアおよびFIDスコアを向上させるか？
• RQ5 スペクトル正則化は、SN-GANsが失敗する状況（高バッチサイズや複雑なデータ分布）においても、一貫してモード崩壊を防止できるか？

主な発見

• SN-GANsにおいて、評価されたすべてのモデルとデータセットで、識別器の重み行列における特異値の数が著しく減少するスペクトル崩壊が、モード崩壊と同時に発生する。
• 理論的分析により、重み行列のすべての特異値が正確に1である場合にのみ、最適な1-リプシッツ制約が達成されることを確認した。これはスペクトル正則化の基礎を提供する。
• SR-GANsは、CIFAR-10、STL-10、ImageNetのすべてのデータセットで、InceptionスコアおよびFIDスコアにおいてSN-GANsを一貫して上回る。
• ImageNetの$E_{2048-64}$設定において、SR-GANsは10万イテレーションにわたり安定した性能向上を示したが、SN-GANsは4万イテレーション目からモード崩壊を示した。
• すべてのテスト設定において、SN-GANsが失敗する状況でもSR-GANsはモード崩壊を効果的に防止し、多様な訓練環境において高い頑健性を示した。
• スペクトル正則化は、スペクトル正則化単体では失敗する状況（特に高バッチサイズや複雑なデータ分布）においても有効であることが判明した。