[論文レビュー] Language Generation with Recurrent Generative Adversarial Networks without Pre-training

Ofir Press, Amir Bar+3 more|arXiv (Cornell University)|Jun 5, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 90

ひとこと要約

本論文は、RNNベースのGANをゼロから言語生成のために訓練し、カリキュラム学習、可変長訓練、およびTeacher Helpingを用いて事前訓練なしで一貫したテキストを生成します。CNNベースのベースラインより改善を示し、長い系列への一般化も示します。

ABSTRACT

Generative Adversarial Networks (GANs) have shown great promise recently in image generation. Training GANs for language generation has proven to be more difficult, because of the non-differentiable nature of generating text with recurrent neural networks. Consequently, past work has either resorted to pre-training with maximum-likelihood or used convolutional networks for generation. In this work, we show that recurrent neural networks can be trained to generate text with GANs from scratch using curriculum learning, by slowly teaching the model to generate sequences of increasing and variable length. We empirically show that our approach vastly improves the quality of generated sequences compared to a convolutional baseline.

研究の動機と目的

• GANsを用いた言語生成の学習を促進し、 exposure biasと厳密なML損失を克服するための前提訓練なしの動機付け。
• RNNジェネレータとディスクリミネータをImproved Wasserstein GAN objectiveの下でエンドツーエンドに訓練できることを実証。
• カリキュラム学習を用いて生成系列長を増加させることが安定した訓練と生成テキストの質に寄与することを示す。
• Variable LengthやTeacher Helpingのような拡張が系列の質と一般化を向上させるかを評価。

提案手法

• 入力の連続緩和を用いて微分可能性を確保しつつ、ジェネレータとディスクリミネータの両方にGRUベースのRNNを使用する。
• Discriminatorがスカラー値を提供するImproved Wasserstein GAN objectiveの下で訓練する。
• 訓練中に生成系列長を段階的に増やすカリキュラム学習を採用する。
• バッチ内で複数の長さの系列を用いるVariable Length訓練を導入する。
• 短いグラウンド truthの接頭辞に基づいて生成を条件付けするTeacher Helpingを導入し、最終文字を導く。
• ノイズをN(0,10)から取得し、学習を安定化させるためにジェネレータをディスクリミネータより頻繁に更新する。

実験結果

リサーチクエスチョン

• RQ1 ゼロから事前訓練なしでGAN objectiveを用いて、RNNベースのジェネレータが一貫したテキストを生成できるか。
• RQ2 カリキュラム学習、可変長訓練、Teacher Helpingが、CNNベースのベースラインと比較してGAN生成テキストの質と一貫性を改善するか。
• RQ3 訓練中見られるより長い系列へモデルが一般化するか。
• RQ4 訓練ダイナミクス（ジェネレータ/ディスクリミネータの更新比、ノイズスケール）がテキスト生成の質に与える影響は何か。

主な発見

• RNNベースのGANはImproved Wasserstein GAN objectiveを用いてゼロから自然言語を生成することを学習できる。
• カリキュラム学習、可変長、Teacher Helpingの組み合わせが最良の結果を生み、held-outデータとの語彙n-gramの類似性でCNNベースモデルを上回る。
• CL+VL+THモデルは長さ64の系列において、生成テキストの語4-gramの3.8%がHeld-outテストセットにも現れる。
• カリキュラム学習だけでは不十分であり、可変長とTeacher Helpingが性能向上に重要である。
• 長さ32までの系列で訓練したモデルは、長さ64の系列に一般化でき、性能は小さく劣化するだけである。