[論文レビュー] ARAML: A Stable Adversarial Training Framework for Text Generation

Pei Ke, Fei Huang+2 more|arXiv (Cornell University)|Aug 20, 2019

Topic Modeling参考文献 39被引用数 5

ひとこと要約

本論文では、実データに近い定常分布からのサンプルにディスクライマによる報酬を用いて、方策勾配最適化の代わりに報酬補正付き最大尤度（RAML）を採用する、安定なテキスト生成のための敵対的訓練フレームワークであるARAMLを提案する。従来のテキスト GAN と比較して、著しく低い訓練不安定性で優れた性能を達成する。

ABSTRACT

Most of the existing generative adversarial networks (GAN) for text generation suffer from the instability of reinforcement learning training algorithms such as policy gradient, leading to unstable performance. To tackle this problem, we propose a novel framework called Adversarial Reward Augmented Maximum Likelihood (ARAML). During adversarial training, the discriminator assigns rewards to samples which are acquired from a stationary distribution near the data rather than the generator's distribution. The generator is optimized with maximum likelihood estimation augmented by the discriminator's rewards instead of policy gradient. Experiments show that our model can outperform state-of-the-art text GANs with a more stable training process.

研究の動機と目的

• 強化学習に基づく訓練におけるテキスト GAN の不安定性、特に方策勾配による高分散報酬信号の要因を解消すること。
• 方策勾配を安定な最大尤度目的に置き換えることで、訓練の安定性と生成品質を向上させること。
• ディスクライマによる報酬を、実データに近い定常分布からのサンプルに統合し、安定で意味のある報酬信号を保証すること。
• 訓練分散が低く、より優れたサンプル品質を達成するテキスト生成タスクにおける最先端の性能を実現すること。

提案手法

• ディスクライマは、実際のテキストと生成されたサンプルを区別し、実データに対して高い報酬を割り当てるように訓練される。
• 生成器の訓練に用いるサンプルは、生成器の現在の分布ではなく、実データに近い定常分布から抽出される。
• 生成器は、ディスクライマの報酬を用いた最大尤度推定（MLE）により最適化され、報酬補正付き MLE 目的関数を形成する。
• 定常分布により、訓練サンプルが実データの多様体に近い状態を維持され、探索の不安定性が低減される。
• 方策勾配更新を回避し、高分散報酬信号を緩和するため、安定な MLE に基づく最適化に置き換える。
• 温度サンプリングと制約付きサンプリング戦略を用いて、生成における多様性と文のなめらかさを制御する。

実験結果

リサーチクエスチョン

• RQ1 方策勾配を安定な MLE に基づく最適化に置き換えることで、テキスト GAN における訓練の安定性が向上するか？
• RQ2 実データに近い定常分布からのサンプルを用いることで、より良いかつ一貫性のある生成器の更新が達成されるか？
• RQ3 ディスクライマによる報酬を MLE 訓練に効果的に統合することで、強化学習に依存せずに生成品質を向上させられるか？
• RQ4 ARAML は、訓練の安定性、文のなめらかさ、多様性の観点から、最先端のテキスト GAN と比較してどのように差をつけるか？
• RQ5 サンプリング戦略（ランダム vs. 制約付き）が、生成テキストの品質と一貫性に与える影響は何か？

主な発見

• ARAML は、画像キャプション生成や対話応答生成を含む、3 つのテキスト生成タスクで最先端のテキスト GAN を上回った。
• COCO データセットでは、制約付きサンプリングを用いた ARAML が、MLE および他の GAN ベースラインと比較して著しく低い前向きパープレキシティ（26.97）を達成した。
• 温度を 0.95 に設定した ARAML は、文のなめらかさと多様性の最適なバランスを示し、逆パープレキシティが 35.79 と最高を記録した。
• 制約付きサンプリング（ARAML-C）は Self-BLEU-4 スコアが 0.366 に達し、ランダムサンプリング（ARAML-R）および他のベースラインを上回った。
• 事例研究では、ARAML は文法的に正しい、一貫性があり、文脈的に関連性のある文を生成する一方、他のモデルは誤り、繰り返し、一貫性の欠如を示した。
• ARAML の訓練プロセスは、他の GAN ベースラインと比較して低い分散を示しており、その改善された安定性が確認された。