[論文レビュー] Why Spectral Normalization Stabilizes GANs: Analysis and Improvements

Zinan Lin, Vyas Sekar+1 more|arXiv (Cornell University)|Sep 6, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用数 28

ひとこと要約

本稿は、GANにおけるスペクトル正規化（SN）の理論的分析を提供し、勾配の爆発および消失を制御することで訓練を安定化することを明らかにする。この洞察に基づき、著者らは、XavierおよびKaiming重み初期化の原則を統合することで勾配制御を向上させる、双方向スケーリングスペクトル正規化（BSSN）を提案する。CIFAR10、STL10、CelebA、ImageNetにおいて、標準的なSNよりも優れたサンプル品質と訓練安定性を達成する。

ABSTRACT

Spectral normalization (SN) is a widely-used technique for improving the stability and sample quality of Generative Adversarial Networks (GANs). However, there is currently limited understanding of why SN is effective. In this work, we show that SN controls two important failure modes of GAN training: exploding and vanishing gradients. Our proofs illustrate a (perhaps unintentional) connection with the successful LeCun initialization. This connection helps to explain why the most popular implementation of SN for GANs requires no hyper-parameter tuning, whereas stricter implementations of SN have poor empirical performance out-of-the-box. Unlike LeCun initialization which only controls gradient vanishing at the beginning of training, SN preserves this property throughout training. Building on this theoretical understanding, we propose a new spectral normalization technique: Bidirectional Scaled Spectral Normalization (BSSN), which incorporates insights from later improvements to LeCun initialization: Xavier initialization and Kaiming initialization. Theoretically, we show that BSSN gives better gradient control than SN. Empirically, we demonstrate that it outperforms SN in sample quality and training stability on several benchmark datasets.

研究の動機と目的

• スペクトル正規化がGANの訓練を安定化させる背後にある理論的メカニズムを理解すること。
• 人気のあるSNの実装（Miyato et al., 2018）がハイパーパrameterチューニングを必要としないのに対し、より厳密なバージョンはなぜ初期段階で失敗するのかを特定すること。
• XavierおよびKaiming初期化といった現代の重み初期化技術の知見を統合することでSNを改善すること。
• 勾配制御を訓練全体にわたり向上させる新しい正規化手法を開発・検証すること。
• 提案手法が複数のベンチマークで、標準的なSNよりもサンプル品質および訓練安定性に優れていることを実証的に示すこと。

提案手法

• 理論的分析により、SNが各層のスペクトルノルムを束縛することで、ディスクライマネーターのリプシッツ定数を制御し、GAN訓練中の勾配爆発を抑えることが示される。
• 本稿は、SNとLeCun初期化の間の関係を確立し、SNが初期化時だけでなく訓練全体にわたり勾配分散の制御を維持することを示す。
• 双方向スケーリングスペクトル正規化（BSSN）を提案し、Xavier初期化にインspiredされた双方向正規化を導入することで、前向きおよび後向きの勾配分散を両方制御する。
• Kaiming初期化に基づくスケーリング機構を組み込むことで、深層ネットワークにおける勾配ダイナミクスをさらに改善する。
• 本手法は生成器およびディスクライマネーターの重みに正規化を適用し、バックプロパゲーション中に安定した勾配フローを維持する適応的スケーリングを実装する。
• 実験では、InceptionスコアおよびFIDといった標準的な評価指標を用いて、BSSNと標準SNを複数のデータセットで比較する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル正規化が、理論的理解が限られているにもかかわらず、なぜGANの訓練を効果的に安定化させるのか？
• RQ2 スペクトル正規化は、敵対的訓練中に、なぜ勾配の爆発および消失の両方を防ぐのか？
• RQ3 広く使われているSNの実装（Miyato et al., 2018）はなぜハイパーパrameterチューニングを必要としないのか？一方、より厳密なバージョンはなぜチューニングなしでは失敗するのか？
• RQ4 現代の重み初期化技術（XavierおよびKaiming）の知見を、スペクトル正規化の改善に活用できるか？
• RQ5 勾配分散の制御をより良く行う新しい正規化手法は、実際の応用において標準的なスペクトル正規化を上回るのか？

主な発見

• スペクトル正規化は、ネットワーク層のスペクトルノルムを束縛することで、勾配の爆発および消失の両方を制御し、訓練ダイナミクスを安定化させる。
• 標準的なSN実装（Miyato et al., 2018）の成功は、LeCun初期化と暗黙的に整合していることにより説明され、初期化時だけでなく訓練全体にわたり勾配分散の制御を維持する。
• 厳密なSNの実装は、訓練後期段階での劣悪な勾配制御のため、初期段階で失敗する。これに対して、標準的なSNは安定性を維持する。
• 双方向スケーリングスペクトル正規化（BSSN）は、XavierおよびKaiming初期化の原則を統合することで、SNよりも優れた勾配制御を達成する。
• CIFAR10、STL10、CelebA、ImageNetにおいて、BSSNは標準的なSNよりも高いInceptionスコアと低いFIDを達成し、サンプル品質および訓練安定性の向上を示す。
• 最良のBSSN実行では、ImageNetでInceptionスコア13.63、FID70.88を達成し、最良のSN実行（13.04、69.12）を上回り、スケール=1.0でチューニングが不十分なBSSN（2.07、242.51）と比べて顕著に優れている。