[論文レビュー] Variance Regularizing Adversarial Learning

Karan Grewal, R Devon Hjelm+1 more|arXiv (Cornell University)|Jul 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 5

ひとこと要約

本稿では、識別器のスコアを、本物/偽物ラベルにおける二峰性ガウス分布に置き換える分散正則化対抗学習を提案する。メタ対抗学習を用いて、このターゲット分布を暗黙的に一致させる。この手法により、識別器が完璧であっても生成器への勾配がゼロにならないことが保証され、ベンチマークデータセット上で本物と偽物のモードが重複する滑らかな分類器出力が得られる。

ABSTRACT

We introduce a novel approach for training adversarial models by replacing the discriminator score with a bi-modal Gaussian distribution over the real/fake indicator variables. In order to do this, we train the Gaussian classifier to match the target bi-modal distribution implicitly through meta-adversarial training. We hypothesize that this approach ensures a non-zero gradient to the generator, even in the limit of a perfect classifier. We test our method against standard benchmark image datasets as well as show the classifier output distribution is smooth and has overlap between the real and fake modes.

研究の動機と目的

• 識別器が高精度になると生じる勾配消失問題を解消すること。
• 完璧な識別器の極限においても生成器への非ゼロ勾配を保証することで、訓練の安定性を向上させること。
• 識別器出力を二峰性ガウス分布としてモデル化し、滑らかな意思決定境界を実現すること。
• メタ対抗学習を用いて、ターゲット二峰性分布を暗黙的に一致させること。
• 実験的に、分類器出力分布が本物と偽物のモード間に意味のある重複を持つことを検証すること。

提案手法

• 標準的な識別器スコアを、本物/偽物インジケータ変数における二峰性ガウス分布に置き換える。
• メタ対抗学習を用いて、ターゲット二峰性分布を暗黙的に一致させるガウス分類器を訓練する。
• メタ最適化を用いて、生成器を更新し、識別器の出力分布が所望の二峰性形式に一致するようにする。
• 識別器が最適化された場合でも勾配伝搬を維持する分散正則化メカニズムを導入する。
• 本物と偽物のモード間で滑らかで重複する分布を促進するように、訓練目的関数を定式化する。
• 標準的な画像生成ベンチマークにこの手法を適用し、性能と分布的性質を評価する。

実験結果

リサーチクエスチョン

• RQ1 本物/偽物ラベルにおける二峰性ガウス分布が、生成器への勾配伝搬を維持することで、GANの訓練を安定化させ得るか？
• RQ2 提案手法が、本物と偽物のサンプル間で識別器出力分布の重なり具合と滑らかさにどのように影響を与えるか？
• RQ3 メタ対抗学習は、ガウス分類器をターゲット二峰性分布に効果的に一致させ得るか？
• RQ4 分散正則化が、GANの訓練安定性とモードカバレッジに与える影響は何か？
• RQ5 サンプル品質と分布的一致性の観点から、標準GANと比較して本手法はどのように差を示すか？

主な発見

• 提案手法により、識別器が完璧であっても生成器への非ゼロ勾配が保証され、勾配消失問題が解消された。
• 識別器出力分布は滑らかになり、本物と偽物のモード間に顕著な重なりが生じた。
• メタ対抗学習により、ガウス分類器がターゲット二峰性分布に効果的に一致した。
• 本手法は、標準的な画像ベンチマークで安定した訓練を達成し、分布的一致性が向上した。
• 分類器出力は、整合的で退化しない分布を示しており、頑健な意思決定境界を示している。