[論文レビュー] Regularization And Normalization For Generative Adversarial Networks: A Review

Ziqiang Li, Rentuo Tao+1 more|arXiv (Cornell University)|Aug 19, 2020

Image Processing Techniques and Applications被引用数 3

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）における正則化および正規化技術をレビューし、勾配ペナルティ、ノルム正規化、ヤコビアン正則化、レイヤー正規化、一貫性正則化、自己教師学習の6つのグループに分類している。これらの手法がGANの訓練安定性を向上させ、モード崩壊を軽減し、収束性を向上させる仕組みを包括的に分析している。

ABSTRACT

Generative adversarial networks(GANs) is a popular generative model. With the development of the deep network, its application is more and more widely. By now, people think that the training of GANs is a two-person zero-sum game(discriminator and generator). The lack of strong supervision information makes the training very difficult, such as non-convergence, mode collapses, gradient disappearance, and the sensitivity of hyperparameters. As we all know, regularization and normalization are commonly used for stability training. This paper reviews and summarizes the research in the regularization and normalization for GAN. All the methods are classified into six groups: Gradient penalty, Norm normalization and regularization, Jacobian regularization, Layer normalization, Consistency regularization, and Self-supervision.

研究の動機と目的

• 強い監視信号が欠如することに起因するGAN訓練における本質的な不安定性に対処すること。
• GAN訓練の安定性を向上させる正則化および正規化技術を特定し、分類すること。
• モード崩壊や勾配消失といった一般的なGANの失敗モードを緩和するための異なる手法の有効性を分析すること。
• GANにおける正則化および正規化技術の6大分類について、体系的な概要を提供すること。

提案手法

• 既存の正則化および正規化手法を、勾配ペナルティ、ノルム正規化および正則化、ヤコビアン正則化、レイヤー正規化、一貫性正則化、自己教師学習の6つの明確なカテゴリに分類すること。
• 各手法が生成器および判別器の訓練ダイナミクスを安定化させるメカニズムを分析すること。
• 損失関数の滑らかさ、勾配の流れ、一般化性能への影響に基づいて、手法を評価すること。
• 勾配ペナルティがモード崩壊を防ぐためにリプシッツ制約を強制する役割を果たすことを強調すること。
• レイヤー正規化および一貫性正則化が特徴表現の向上と訓練のロバストネスを向上させる仕組みを検討すること。
• 自己教師学習がラベルなしデータを用いて弱い監視信号を注入する手段として機能することを検証すること。

実験結果

リサーチクエスチョン

• RQ1 異なる正則化および正規化技術は、どのようにGAN訓練の安定性を向上させるか？
• RQ2 モード崩壊を防ぐ観点で、勾配ペナルティと他の正則化手法の相対的な有効性は何か？
• RQ3 レイヤー正規化などの正規化手法は、GANにおける収束性をどのように向上させるか？
• RQ4 限られた監視信号下で、一貫性正則化はGANのロバストネスにどのように寄与するか？
• RQ5 自己教師学習は、明示的なラベルなしにGANの性能をどのように向上させるか？

主な発見

• 勾配ペナルティは、判別器にリプシッツ制約を強制することで訓練を効果的に安定化させ、モード崩壊を軽減する。
• ノルム正規化および正則化技術は、勾配の流れを改善し、深層GANアーキテクチャにおける内部共変量シフトを低減する。
• ヤコビアン正則化は、入力の摂動に対する判別器出力の大きな変化をペナルティ化することで、訓練を安定化させる。
• レイヤー正規化は、各ミニバッチ内でのチャネルごとの特徴を正規化することで、訓練の安定性を向上させる。
• 一貫性正則化は、摂動を加えた入力に対しても出力を一貫したものに保つように促進することで、一般化性能を向上させる。
• 自己教師学習は、ラベルデータを必要としないままに、訓練ダイナミクスを改善する有用なインダクティブバイアスを提供する。