[論文レビュー] Text Generation by Learning from Demonstrations

Richard Yuanzhe Pang, He He|arXiv (Cornell University)|Sep 16, 2020

Topic Modeling参考文献 60被引用数 5

ひとこと要約

本稿では、参照（デモ）シーケンスから重要度重み付けを用いて品質を向上させるように学習することで、テキスト生成モデルを訓練するオフライン強化学習手法GOLD（Generation by Off-policy Learning from Demonstrations）を提案する。品質ベースの報酬を用いて訓練を人間の評価と一致させることで、露出バイアスを低減し、要約、質問生成、機械翻訳の各タスクにおいて自動評価指標および人間評価の両面でMLEおよびポリシー勾配法を上回る性能を発揮する。

ABSTRACT

Current approaches to text generation largely rely on autoregressive models and maximum likelihood estimation. This paradigm leads to (i) diverse but low-quality samples due to mismatched learning objective and evaluation metric (likelihood vs. quality) and (ii) exposure bias due to mismatched history distributions (gold vs. model-generated). To alleviate these problems, we frame text generation as an offline reinforcement learning (RL) problem with expert demonstrations (i.e., the reference), where the goal is to maximize quality given model-generated histories. We propose GOLD (generation by off-policy learning from demonstrations): an easy-to-optimize algorithm that learns from the demonstrations by importance weighting. Intuitively, GOLD upweights confident tokens and downweights unconfident ones in the reference during training, avoiding optimization issues faced by prior RL approaches that rely on online data collection. According to both automatic and human evaluation, models trained by GOLD outperform those trained by MLE and policy gradient on summarization, question generation, and machine translation. Further, our models are less sensitive to decoding algorithms and alleviate exposure bias.

研究の動機と目的

• テキスト生成における訓練目的（最尤推定）と評価指標（人間による品質評価）の不一致を是正すること。
• ゴールドプレフィックスで訓練するが推論時にはモデルが生成したプレフィックスを使用するための露出バイアスを軽減すること。
• オンライン相互作用を伴わずに専門家のデモから学習することで、生成品質を向上させること。
• 従来の強化学習に基づくテキスト生成アプローチにおける最適化の問題を回避する安定なオフポリシー強化学習手法を開発すること。
• デコード戦略に対して頑健で、長さに伴う劣化にあまり影響されないモデルを構築すること。

提案手法

• 参照シーケンスを専門家のデモとして用いることで、テキスト生成をオフライン強化学習問題として定式化する。
• モデルの信頼度に基づいて訓練例を再重み付けするため、重要度重み付けを用いたオフポリシー方策勾配を適用する。
• 人間によるシーケンス品質の判断を近似する報酬関数を用い、各トークンが人間が生成する確率を推定する。
• モデルが生成した履歴が誘発する軌道の期待報酬を最大化するようにジェネレータを訓練する。
• 重要度重み付けを用いて、参照内での高信頼度トークンをアップウェート、低信頼度トークンをダウンウェートする。
• 要約、質問生成、翻訳タスクにおけるエンドツーエンドの訓練を実現するため、Transformerベースのモデルにこの手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 専門家のデモからのオフライン強化学習が、最尤推定を上回るテキスト生成品質を改善できるか？
• RQ2 提案手法が露出バイアスを軽減し、デコード戦略に対して頑健性を向上させられるか？
• RQ3 オフポリシー強化学習における重要度重み付けが、オンライン方策勾配法と比較して訓練を安定化させ、性能を向上させられるか？
• RQ4 この手法が多様なテキスト生成タスクにおいて、人間による評価の質と自動評価指標をどの程度向上させられるか？
• RQ5 誤差の累積による劣化を避けて、長文生成でも一貫した高品質な出力を維持できるか？

主な発見

• GOLDは、要約、質問生成、機械翻訳の各タスクにおいて、自動評価指標（BLEU、ROUGE）および人間評価の両方でMLEおよびポリシー勾配微調整を上回る性能を発揮した。
• 人間による対比較では、GOLDが生成した質問の44.3％がMLEが生成したものよりも優れていると評価されたのに対し、MLEの場合は23.0％にとどまり、32.8％は同点であった。
• 人間評価では、GOLDが生成した要約が参照要約にMLEよりも近いことが示された。特に意味的整合性の面で顕著であった。
• GOLDモデルはデコードアルゴリズムに対して感受性が低く、頑健性の向上が確認された。
• 露出バイアスが軽減され、生成長が延びても一貫した出力品質が維持された。
• 重要度重み付けが訓練の安定化に効果的であり、高信頼度の参照トークンに注目することで、サンプル効率を向上させた。