[論文レビュー] Text Generation by Learning from Off-Policy Demonstrations.

Richard Yuanzhe Pang, He He|arXiv (Cornell University)|Sep 16, 2020

Topic Modeling参考文献 36被引用数 7

ひとこと要約

本論文は、露出バイアスを軽減し、生成品質を向上させるために、非インタラクティブな専門家トレーリングを活用する強化学習フレームワークGOLDを提案する。重要度重み付けを用いて非インタラクティブな専門家トレースから学習することで、要約、質問生成、機械翻訳の分野で最先端の結果を達成し、デコード戦略や長いシーケンスに対する頑健性が向上する。

ABSTRACT

Current approaches to text generation largely rely on autoregressive models and maximum likelihood estimation. This paradigm leads to (i) diverse but low-quality samples due to mismatched learning objective and evaluation metric (likelihood vs. quality) and (ii) exposure bias due to mismatched history distributions (gold vs. model-generated). To alleviate these problems, we frame text generation as a reinforcement learning (RL) problem with expert demonstrations (i.e., the training data), where the goal is to maximize quality given model-generated histories. Prior RL approaches to generation often face optimization issues due to the large action space and sparse reward. We propose GOLD (generation by off-policy learning from demonstrations): an algorithm that learns from the off-policy demonstrations by importance weighting and does not suffer from degenerative solutions. We find that GOLD outperforms the baselines according to automatic and human evaluation on summarization, question generation, and machine translation, including attaining state-of-the-art results for CNN/DailyMail summarization. Further, we show that models trained by GOLD are less sensitive to decoding algorithms and the generation quality does not degrade much as the length increases.

研究の動機と目的

• 自己回帰的テキスト生成における訓練目的（最尤推定）と評価指標（品質）の不一致を解消すること。
• 訓練中にゴールド履歴とモデル生成履歴の分布シフトによって引き起こされる露出バイアスを軽減すること。
• 劣化する解法を示さずに、非ポリシーの専門家トレースから効果的に学習できる強化学習手法を開発すること。
• 要約や機械翻訳を含む多様なテキスト生成タスクにおいて、生成品質と頑健性を向上させること。

提案手法

• 専門家トレースをトレーリングとして用いて、テキスト生成を強化学習問題として定式化する。
• 非ポリシーのトレースから学習する際の分布シフトを補正するために、重要度重み付けを適用する。
• 状態価値関数を推定し、方策最適化をガイドするためのクライムネットワークを用いる。
• 重要度重み付けされたリターンを用いて方策勾配法により方策ネットワークを訓練し、学習の安定性を高める。
• 尤度ではなく、人間のテキスト品質評価と整合する報酬モデルを採用する。
• 標準的な強化学習アプローチで一般的な劣化行動を回避することで、訓練の安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 最大尤度事前学習を超えて、非インタラクティブなトレースを有効に活用することで、テキスト生成品質を向上させられるか？
• RQ2 専門家データがモデル生成シーケンスと混合されていない状況で、重要度重み付けが方策学習をどのように改善するか？
• RQ3 提案手法はデコード戦略への感受性を低減し、長時間シーケンスでも品質を維持できるか？
• RQ4 CNN/DailyMail要約ベンチマークで最先端のパフォーマンスを達成できるか？
• RQ5 自動評価および人間評価の両方において、自己回帰的ベースラインと比較してどのように差がつくか？

主な発見

• GOLDはCNN/DailyMail要約ベンチマークで最先端の結果を達成し、自動評価および人間評価の両方で先行手法を上回る。
• シーケンス長が延びても生成品質が著しく低下せず、ベースラインと比較して劣化が小さい。
• GOLDで訓練されたモデルはデコードハイパーパrameterへの感受性が低く、より安定的かつ信頼性の高い生成を実現している。
• 人間評価では、GOLDが生成するテキストが、流暢さ、一貫性、関連性の観点でベースラインを上回ることが確認された。
• この手法は露出バイアスを効果的に軽減し、訓練目的と下流の品質指標との整合性を高めた。
• 重要度重み付けにより、非ポリシーのトレースからの安定した学習が可能となり、標準的な強化学習で見られる劣化行動を回避できた。