[論文レビュー] On the Effects of Batch and Weight Normalization in Generative Adversarial Networks

Sitao Xiang, Hao Li|arXiv (Cornell University)|Apr 13, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 70

ひとこと要約

本論文は Batch Normalization と提案された Weight Normalization をGANに対して評価し、ReLUベースのウェイト正規化アプローチを翻訳済みとして導入し、WNがBNよりもDCGAN様のアーキテクチャにおける安定性と再構成品質を向上させることを示しています。

ABSTRACT

Generative adversarial networks (GANs) are highly effective unsupervised learning frameworks that can generate very sharp data, even for data such as images with complex, highly multimodal distributions. However GANs are known to be very hard to train, suffering from problems such as mode collapse and disturbing visual artifacts. Batch normalization (BN) techniques have been introduced to address the training. Though BN accelerates the training in the beginning, our experiments show that the use of BN can be unstable and negatively impact the quality of the trained model. The evaluation of BN and numerous other recent schemes for improving GAN training is hindered by the lack of an effective objective quality measure for GAN models. To address these issues, we first introduce a weight normalization (WN) approach for GAN training that significantly improves the stability, efficiency and the quality of the generated samples. To allow a methodical evaluation, we introduce squared Euclidean reconstruction error on a test set as a new objective measure, to assess training performance in terms of speed, stability, and quality of generated samples. Our experiments with a standard DCGAN architecture on commonly used datasets (CelebA, LSUN bedroom, and CIFAR-10) indicate that training using WN is generally superior to BN for GANs, achieving 10% lower mean squared loss for reconstruction and significantly better qualitative results than BN. We further demonstrate the stability of WN on a 21-layer ResNet trained with the CelebA data set. The code for this paper is available at https://github.com/stormraiser/gan-weightnorm-resnet

研究の動機と目的

• Batch Normalization がGANの学習安定性とサンプル品質にどのように影響するかを評価する。
• GANの学習に対するウェイト正規化ベースのトレーニング変種を提案し、その利点を評価する。
• GANの学習速度・安定性・品質を評価する客観的再構成ベースの指標を導入する。
• CelebA、LSUN、CIFAR-10データセットを跨ぐDCGANアーキテクチャでこのアプローチを実証する。

提案手法

• GANトレーニングのための修正版Weight Normalization (WN) テクニックを導入し、Batch Normalization (BN) と比較する。
• 表現能力を大きな平均シフトを生じさせずに保つため、ウェイト正規化層内に翻訳されたReLU (TReLU) を定義する。
• G(z) と x の二乗誤差 ||G(z)-x||^2 を最小化する潜在コードを見つけるために勾配降下法を用いたテストセット上の客観的再構成損失を提案する。
• RMSProp を用いた最適化を行い、CelebA、LSUN ベッドルーム、CIFAR-10、さらに21層のResNet実験でDCGAN風アーキテクチャを用いて実験を行う。
• 再構成品質は最終再構成損失、学習安定性は反復ごとの生成サンプルの推移で評価する。

実験結果

リサーチクエスチョン

• RQ1 Batch Normalization は標準ベンチマークの下でGANの学習安定性とサンプル品質を改善するか、それとも劣化させるか？
• RQ2 GANの学習においてBNよりもウェイト正規化の定式化が安定性と再構成品質の点で優れているか？
• RQ3 再構成ベースの目的がGANの学習進捗を信頼性高くモニタリングし、定性的なサンプル品質を反映するか？
• RQ4 提案するWNアプローチは深いアーキテクチャ（例：ResNet）や複数データセットでどのように機能するか？

主な発見

モデル	最適反復	実行中の損失	最終損失
vanilla	30,500	0.014509	0.006171
BN	30,500	0.017199	0.006355
WN	463,000	0.013010	0.005524

• ウェイト正規化は、バニラモデルに比べて最終再構成損失を約10.5%低くする。
• ウェイト正規化はBatch Normalizationより安定した学習とより良い再構成品質を実現する。
• Batch Normalization は不安定さとアーティファクトを引き起こす可能性があり、バニラGANはデータセットによって崩壊することがある。
• 21層のResNet GANをウェイト正規化で学習すると安定性を保ち、多様で高品質なサンプルを生成する。
• BNは初期学習を加速する一方で長期的な安定性とサンプル多様性をWNと比較して低下させる可能性がある。
• WNはBNよりも学習を速く安定させ、非正規化モデルと同等以上のサンプル品質を提供する。