[論文レビュー] TextGAIL: Generative Adversarial Imitation Learning for Text Generation

Qingyang Wu, Lei Li+1 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling被引用数 5

ひとこと要約

TextGAIL は、大規模事前学習言語モデル（RoBERTa と GPT-2）を活用して、テキスト生成における学習の安定性と報酬信号の信頼性を向上させる生成的対抗的模倣学習フレームワークを提案する。対照的識別器と局所的政策最適化（PPO）を統合することで、無条件および条件付きテキスト生成タスクの両方において、MLEベースラインを上回る品質と多様性を達成し、識別器が意味的で転送可能な報酬信号を学習することが可能になる。

ABSTRACT

Generative Adversarial Networks (GANs) for text generation have recently received many criticisms, as they perform worse than their MLE counterparts. We suspect previous text GANs' inferior performance is due to the lack of a reliable guiding signal in their discriminators. To address this problem, we propose a generative adversarial imitation learning framework for text generation that uses large pre-trained language models to provide more reliable reward guidance. Our approach uses contrastive discriminator, and proximal policy optimization (PPO) to stabilize and improve text generation performance. For evaluation, we conduct experiments on a diverse set of unconditional and conditional text generation tasks. Experimental results show that TextGAIL achieves better performance in terms of both quality and diversity than the MLE baseline. We also validate our intuition that TextGAIL's discriminator demonstrates the capability of providing reasonable rewards with an additional task.

研究の動機と目的

• 従来のテキスト GAN が学習の不安定性と信頼性の低い報酬信号に起因して性能が低い問題に対処する。
• 敵対的学習における信頼性の高い報酬提供者としての大規模事前学習言語モデルを活用し、テキスト生成の品質と多様性を向上させる。
• 対照的識別器と局所的政策最適化（PPO）を用いることで、テキスト GAN の学習を安定化させる。
• 従来の無条件生成に限られていた敵対的学習を、CommonGEN や ROCStories などの条件付きテキスト生成タスクへと拡張する。
• ストーリーの続き分類タスクなどの下流タスクにおけるゼロショット評価を通じて、識別器が意味的で転送可能な報酬信号を学習しているかを検証する。

提案手法

• TextGAIL は、生成的対抗的模倣学習（GAIL）を用い、識別器からの報酬を用いて生成器を学習する。生成器は、方策勾配の分散を低減するため PPO により訓練される。
• 識別器は RoBERTa で初期化され、実際のテキストと生成されたテキストを区別するよう微調整され、生成器に信頼性の高い報酬信号を提供する。
• 対照的識別器アーキテクチャを採用し、実際のシーケンスと生成されたシーケンスを比較することで、条件付き生成タスクにおける性能を向上させる。
• 生成器は GPT-2 をベースとし、識別器からの報酬を用いて PPO により微調整され、標準的な MLE 学習に置き換わる。
• 品質-多様性トレードオフを公正に比較するため、温度スイープ評価をフレームワークで使用する。
• アブレーションスタディにより、事前学習、対照的識別、PPO 最適化の各貢献度が検証される。

実験結果

リサーチクエスチョン

• RQ1 大規模事前学習言語モデルは、テキスト GAN における報酬信号の信頼性を向上させ、より優れた生成性能をもたらすか？
• RQ2 GAIL と PPO、対照的識別器を組み合わせることで、テキスト生成における学習の安定性、品質、多様性が向上するか？
• RQ3 TextGAIL の識別器は、ストーリーの続き分類などの下流タスクに一般化可能な意味的で転送可能な報酬信号を学習できるか？
• RQ4 TextGAIL は、無条件および条件付きテキスト生成タスクの両方において、MLE ベースラインを品質-多様性トレードオフの観点から上回るか？
• RQ5 対照的識別や事前学習といったアーキテクチャ的選択は、テキスト GAN の安定性と性能にどのように影響を与えるか？

主な発見

• TextGAIL は、無条件生成（COCO、EMNLP2017 News）および条件付き生成（CommonGEN、ROCStories）タスクの両方において、MLE ファインチューニングベースラインを上回る品質と多様性を達成する。
• TextGAIL の識別器は、ストーリーの続きテストで 79.1% の精度を達成し、ファインチューニングされた GPT-2 モデル（69.6%）を著しく上回り、教師あり RoBERTa モデル（92.8%）に近い性能に達する。
• 識別器の事前学習を削除すると、ストーリーの続きテストの精度は 51.2% に低下し、事前学習が信頼性の高い報酬学習に不可欠であることが確認される。
• 標準的なシングルインプットシグモイド識別器に代替すると、BLEU-2 および Distinct-2 スコアが著しく低下し、条件付き生成における対照的学習の重要性が示される。
• アブレーションスタディにより、PPO と人間のデモンストレーションが安定した学習に不可欠であることが確認され、事前学習モデルを用いた直接的な GAN 学習は収束しないことが判明する。
• TextGAIL は、事前学習モデルが敵対的学習を効果的に導くことができ、より良い報酬信号と優れた生成結果をもたらすことを示している。