[論文レビュー] Training language GANs from Scratch

Cyprien de Masson d’Autume, Shakir Mohamed+2 more|arXiv (Cornell University)|May 23, 2019

Natural Language Processing Techniques参考文献 51被引用数 17

ひとこと要約

この論文では、最大尤度事前学習を経ずに、言語GANをスクラッチから訓練する方法であるScratchGANを提案する。大規模バッチ、密な報酬、判別器正則化を組み合わせることで、EMNLP2017 NewsおよびWikiText-103において、品質と多様性の両方の指標で最大尤度学習と同等の性能を達成した。

ABSTRACT

Generative Adversarial Networks (GANs) enjoy great success at image generation, but have proven difficult to train in the domain of natural language. Challenges with gradient estimation, optimization instability, and mode collapse have lead practitioners to resort to maximum likelihood pre-training, followed by small amounts of adversarial fine-tuning. The benefits of GAN fine-tuning for language generation are unclear, as the resulting models produce comparable or worse samples than traditional language models. We show it is in fact possible to train a language GAN from scratch -- without maximum likelihood pre-training. We combine existing techniques such as large batch sizes, dense rewards and discriminator regularization to stabilize and improve language GANs. The resulting model, ScratchGAN, performs comparably to maximum likelihood training on EMNLP2017 News and WikiText-103 corpora according to quality and diversity metrics.

研究の動機と目的

• 不安定な最適化とモード崩壊のため、長年の課題とされてきた自然言語生成におけるGANの訓練問題を解決すること。
• 一般的な慣習ではあるが、敵対的利点を制限する可能性がある最大尤度事前学習の必要性を排除すること。
• 従来の言語モデルと同等の性能を発揮する、安定的かつ効果的なエンドツーエンドの言語GAN用の訓練フレームワークを開発すること。
• 敵対的訓練をスクラッチから行うことで、最大尤度法と同等の高品質で多様性のあるテキストサンプルを生成できることを実証すること。

提案手法

• 言語分野におけるGAN訓練の勾配推定を安定化させるために、大規模ミニバッチサイズを採用する。
• 疎な報酬よりも強力で情報量の多いフィードバックを生成器に提供する、密な報酬を導入する。
• 過学習を低減し、訓練の安定性を向上させるために、判別器正則化技術を適用する。
• 最大尤度事前学習を回避する訓練パイプラインを設計し、ランダム初期化からの純粋な敵対的訓練を可能にする。
• 生成シーケンスの真正性をシーケンス・ツー・シーケンスの方法で評価する判別器を使用する。
• アーキテクチャ的および訓練上の修正を通じて、勾配の流れを改善した敵対的目的により、生成器と判別器を最適化する。

実験結果

リサーチクエスチョン

• RQ1 最大尤度事前学習を経ずに、ランダム初期化から効果的に言語GANを訓練できるか？
• RQ2 言語GANの訓練を安定化させ、モード崩壊を防ぐために必要な訓練技術は何か？
• RQ3 スクラッチから訓練されたGANの性能は、最大尤度事前学習済みモデルと比較して、サンプルの品質と多様性の面でどの程度か？
• RQ4 密な報酬と判別器正則化は、言語GANの訓練の安定性と出力品質をどの程度向上させるか？

主な発見

• ScratchGANは、EMNLP2017 NewsおよびWikiText-103データセットにおいて、最大尤度事前学習済みモデルと同等の生成品質と多様性を達成した。
• 事前学習を必要とせず、モード崩壊や最適化の不安定性といった一般的な問題を克服した、安定した訓練ダイナミクスを示した。
• 密な報酬は、疎な報酬よりも情報量の多い勾配を提供するため、生成器の学習を顕著に改善した。
• 判別器正則化は、敵対的訓練中に一般化性能を向上させ、過学習を低減した。
• アブレーションスタディにより、大規模バッチサイズと密な報酬が、安定した訓練と高品質な出力に不可欠であることが確認された。