[論文レビュー] Improving GAN Training via Binarized Representation Entropy (BRE) Regularization

Yanshuai Cao, Gavin Weiguang Ding+2 more|arXiv (Cornell University)|May 9, 2018

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 9

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）の訓練を改善するために、バイナリ活性化パターンの多様性と高エントロピーを促進することで、識別器の内部隠れ層がより多様で情報量の多いバイナリ活性化パターンを生成するよう促す、バイナリ表現エントロピー（BRE）正則化を導入する。この手法により、生成器に対するより情報量が多く安定した勾配が得られ、合成データおよび実データの両方で訓練の安定性、収束速度、サンプル品質が向上し、半教師あり学習の精度向上が見られた。

ABSTRACT

We propose a novel regularizer to improve the training of Generative Adversarial Networks (GANs). The motivation is that when the discriminator D spreads out its model capacity in the right way, the learning signals given to the generator G are more informative and diverse. These in turn help G to explore better and discover the real data manifold while avoiding large unstable jumps due to the erroneous extrapolation made by D. Our regularizer guides the rectifier discriminator D to better allocate its model capacity, by encouraging the binary activation patterns on selected internal layers of D to have a high joint entropy. Experimental results on both synthetic data and real datasets demonstrate improvements in stability and convergence speed of the GAN training, as well as higher sample quality. The approach also leads to higher classification accuracies in semi-supervised learning.

研究の動機と目的

• 生成対抗ネットワーク（GAN）におけるモード崩壊と不安定な訓練を改善するため、識別器のモデル容量割り当ての方法を向上させること。
• 識別器の隠れ層における高エントロピーな活性化パターンを促進することで、生成器に多様で情報量の多い勾配を提供すること。
• 整流器ネットワークのバイナリ活性化パターンに作用する新しい正則化子を用いて、GANの訓練を安定化させ、サンプル品質を向上させること。
• BRE正則化による識別器の表現能力割り当ての向上を活用し、半教師あり学習の性能を向上させること。

提案手法

• 本手法は、識別器の選択された隠れ層におけるバイナリ活性化パターンの結合エントロピーを最大化する正則化子を導入する。
• 活性化パターンが定義する線形領域の数と整流器ネットワークの容量の理論的関連性を活用し、エントロピーを容量の多様性の代理指標として用いる。
• 訓練中に正則化子を適用することで、識別器が低エントロピーな退化した活性化パターンを避けるよう、より多くの異なる入力領域に容量を分散させることを促進する。
• 標準的なGAN訓練と互換性があり、アーキテクチャの変更は不要で、わずかなエントロピーに基づく損失項を追加するのみである。
• 正則化は偽物データおよび実データの両方、および実データと偽物データの間の補間点に対しても適用され、一般化性能のさらなる向上が図られる。
• バイナリ化された活性化におけるエントロピーの微分可能近似を用いて正則化を実装し、エンド・ツー・エンドの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 活性化パターンの多様性による識別器のモデル容量割り当ての改善が、より安定的で高速なGAN訓練をもたらすか？
• RQ2 識別器における高エントロピーなバイナリ活性化パターンの促進が、生成サンプルの品質と多様性を向上させるか？
• RQ3 BRE正則化は、識別器の表現能力を向上させることで、半教師あり学習における一般化性能を向上させるか？
• RQ4 勾配ベースの多様性正則化子が整流器ネットワークで失敗する理由は何か？BREはこの制限をどのように克服するか？

主な発見

• BRE正則化により、収束が速くなり、特にSVHNにおける長時間の訓練では、100％の試行で発散が減少した。
• 特徴マッチングGANを用いたCIFAR-10では、BREを適用した場合のテスト誤差率は13.93％（10アンサンブル）に低下したのに対し、BREなしでは14.25％であった。これは一般化性能の向上を示している。
• BREを用いた訓練中、インセプションスコアが上昇し、特に初期訓練段階で品質が高く多様性のあるサンプルが得られた。
• BRE正則化子は、実データには適用しない状況でも、偽物データおよび補間点にのみ適用された場合でも、識別器がより多くの線形領域にモデル容量を割り当てるのを効果的に導いた。
• 本手法はアーキテクチャの変更なしに半教師あり学習の性能を向上させ、さまざまな設定においても互換性と有効性を示した。
• 実験により、勾配ベースの多様性正則化子が整流器ネットワークで失敗するのは、共有される活性化パターンにおける勾配の線形従属性に起因し、BREはこれを全活性化パターンに作用することでこの制限を克服していることが明らかになった。