[論文レビュー] Spectral Normalization for Generative Adversarial Networks

Takeru Miyato, Toshiki Kataoka+2 more|arXiv (Cornell University)|Feb 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 2,304

ひとこと要約

各層のスペクトルノルムを制約することでGAN訓練を安定化させるスペクトル正規化を導入し、CIFAR-10、STL-10、ImageNetなどのデータセットで頑健な性能をもたらす。SN-GANはシンプルな統合と低オーバーヘッドで競争力のあるまたは上回る画像品質を達成する。

ABSTRACT

One of the challenges in the study of generative adversarial networks is the instability of its training. In this paper, we propose a novel weight normalization technique called spectral normalization to stabilize the training of the discriminator. Our new normalization technique is computationally light and easy to incorporate into existing implementations. We tested the efficacy of spectral normalization on CIFAR10, STL-10, and ILSVRC2012 dataset, and we experimentally confirmed that spectrally normalized GANs (SN-GANs) is capable of generating images of better or equal quality relative to the previous training stabilization techniques.

研究の動機と目的

• 識別器を制約してGAN訓練の不安定さを動機づけて対処する。
• 層のスペクトルノルムを1に設定して識別器のリプシッツ定数を制限する軽量な正規化を提案する。
• スペクトル正規化（SN）の効果を複数のデータセットで実証し、既存の正規化手法と比較する。

提案手法

• 識別器を線形層と非線形性の構成として定義し、リプシッツ定数を制約するために各重み行列 W をそのスペクトルノルムで正規化する: W_bar_SN = W / sigma(W).
• 計算量を軽く保つため、power iteration 法で sigma(W) を効率的に推定する。
• スペクトル正規化下での勾配フローを分析し、支配的特異成分に対する適応的正則化効果を示す。
• 理論的にも経験的にも、SN を weight normalization、weight clipping、gradient penalty、及び orthonormal regularization と比較する。
• CIFAR-10、STL-10、ImageNet に対して標準的な GAN 目的関数と hinge loss のバリアントを使用して SN-GAN を評価し、Inception Score と FID を評価指標として報告する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル正規化は過度な計算コストなしに識別器のリプシッツ定数を信頼性高く制限できるか。
• RQ2 SN は画像品質と訓練の安定性の面で、他の正則化技術（weight normalization、weight clipping、gradient penalty、orthonormal regularization）と比べてどうか。
• RQ3 SN はアーキテクチャとデータセット（CIFAR-10、STL-10、ImageNet）および異なる最適化設定で堅牢か。
• RQ4 識別器の重みスペクトルと特徴量利用に対するスペクトル正規化の効果は何か。

主な発見

• SN は各層のスペクトルノルムを正規化することで識別器のリプシッツ定数を制約し、勾配を有界に保ち安定性を向上させる。
• 経験的結果は、CIFAR-10、STL-10、ImageNet において従来の安定化手法と同等またはそれを上回る画像品質をSN-GANが達成し、多くの場合訓練時間がより速いか同等である。
• スペクトル正規化は weight clipping/normalization と比べて層の特異値をより広く分布させ、初期層での特徴量利用が豊かであることを示す。
• SN-GAN は積極的な学習率とモメンタム設定に対して堅牢であり、いくつかの設定で WGAN-GP を上回る。
• 正交正規化と比較して、SN-GAN は特徴マップ次元やアーキテクチャを変えても性能を維持し、より大きな構造的堅牢性を示す。