[論文レビュー] SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

Lantao Yu, Weinan Zhang+2 more|arXiv (Cornell University)|Sep 18, 2016

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 293

ひとこと要約

SeqGAN は sequence generation を強化学習として扱い、GAN discriminator を end-sequence reward として用い、Monte Carlo ロールアウトを用いたポリシー・グラディエントで離散トークン生成器を訓練する。合成データと実データのシーケンス課題でベースラインを上回る。

ABSTRACT

As a new way of training generative models, Generative Adversarial Nets (GAN) that uses a discriminative model to guide the training of the generative model has enjoyed considerable success in generating real-valued data. However, it has limitations when the goal is for generating sequences of discrete tokens. A major reason lies in that the discrete outputs from the generative model make it difficult to pass the gradient update from the discriminative model to the generative model. Also, the discriminative model can only assess a complete sequence, while for a partially generated sequence, it is non-trivial to balance its current score and the future one once the entire sequence has been generated. In this paper, we propose a sequence generation framework, called SeqGAN, to solve the problems. Modeling the data generator as a stochastic policy in reinforcement learning (RL), SeqGAN bypasses the generator differentiation problem by directly performing gradient policy update. The RL reward signal comes from the GAN discriminator judged on a complete sequence, and is passed back to the intermediate state-action steps using Monte Carlo search. Extensive experiments on synthetic data and real-world tasks demonstrate significant improvements over strong baselines.

研究の動機と目的

• シーケンス生成における露出バイアスと訓練/推論の不一致に対処する。
• 離散トークン系列のGANベース訓練を可能にするため、離散出力を微分可能に扱うことを避ける。
• モンテカルロロールアウトを用いた識別器由来の報酬を活用して確率的方策（生成器）を最適化する。
• 合成データおよび詩歌、スピーチ、音楽生成などの実世界タスクで有効性を示す。

提案手法

• モデルを強化学習における確率的方策としてシーケンス生成器を扱う。
• CNNベースの識別器を用いて全シーケンスを判定し報酬信号を提供する。
• 中間状態のアクション価値Qを推定するためにモンテカルロ探索を適用する。
• 識別器の報酬（式 9–11）を用いたポリシーグラディエント（REINFORCE）で生成器を最適化する。
• 最大尤度でGを事前訓練し、GとDを交互に訓練する（アルゴリズム1）。
• ロールアウト方策GβをNサンプル用いて中間報酬を推定する（式 4–7）。

実験結果

リサーチクエスチョン

• RQ1 離散出力を通じて勾配を伝播させずに、強化学習を通じてGANを離散シーケンス生成に効果的に適用できるか?
• RQ2 識別器ガイド付きポリシー最適化は、MLE、スケジュールサンプリング、BLEUガイド付きPGベースラインと比較して生成シーケンスの品質を改善するか?
• RQ3 SeqGAN は合成分布および詩歌・スピーチ・音楽生成のような実世界のシーケンスタスクでどのように機能するか?

主な発見

アルゴリズム	NLL	p値
Random	10.310	<10^{-6}
MLE	9.038	<10^{-6}
SS	8.985	<10^{-6}
PG-BLEU	8.946	<10^{-6}
SeqGAN	8.736	<10^{-6}

• SeqGAN は合成データにおいてMLE、スケジュールサンプリング、PG-BLEU の基準法よりも有意に上回り、NLLオラクルスコアが低い。
• SeqGAN は中国語詩生成、オバマ演説、音楽生成などの実世界タスクで基準法を大きく上回り、BLEU および人間の判断を含む。
• 訓練戦略（g-steps, d-steps, ロールアウトサイズ k）は安定性と収束性に影響を与え、特定の構成が安定した優れた性能を生む。
• 識別器ベースの報酬は、BLEU のようなタスク特定指標よりも一般的なガイダンス信号を提供し、シーケンス生成を導く。