[論文レビュー] Efficient (Soft) Q-Learning for Text Generation with Limited Good Data

Han Guo, Bowen Tan+3 more|arXiv (Cornell University)|Jun 14, 2021

Topic Modeling参考文献 70被引用数 14

ひとこと要約

本稿では、スパースな報酬と限られた良好データを効率的に処理するための新しいソフトQ学習（SQL）フレームワークを提案する。このフレームワークは、オンポリシーとオフポリシーの更新を組み合わせ、経路一貫性学習を用いて安定した報酬割り当てを実現し、候補アクション間で同時にQ値を更新することを可能にする。この手法は、敵対的攻撃生成、プロンプト最適化、ノイズ混在／否定的例題からの学習など、多様なタスクで最先端の性能を達成し、MLEおよび先行するRLベースラインを上回る。

ABSTRACT

Maximum likelihood estimation (MLE) is the predominant algorithm for training text generation models. This paradigm relies on direct supervision examples, which is not applicable to many emerging applications, such as generating adversarial attacks or generating prompts to control language models. Reinforcement learning (RL) on the other hand offers a more flexible solution by allowing users to plug in arbitrary task metrics as reward. Yet previous RL algorithms for text generation, such as policy gradient (on-policy RL) and Q-learning (off-policy RL), are often notoriously inefficient or unstable to train due to the large sequence space and the sparse reward received only at the end of sequences. In this paper, we introduce a new RL formulation for text generation from the soft Q-learning (SQL) perspective. It enables us to draw from the latest RL advances, such as path consistency learning, to combine the best of on-/off-policy updates, and learn effectively from sparse reward. We apply the approach to a wide range of novel text generation tasks, including learning from noisy/negative examples, adversarial attacks, and prompt generation. Experiments show our approach consistently outperforms both task-specialized algorithms and the previous RL methods.

研究の動機と目的

• スパースな報酬と大きな行動空間のため、既存の強化学習手法がテキスト生成において非効率的で不安定であるという問題に対処すること。
• 敵対的攻撃生成やプロンプト工学の例のように、限られたまたはノイズ混在の良好データしか入手できない状況でも効果的な学習を可能にすること。
• オンポリシーとオフポリシー学習の長所を組み合わせ、データ効率と学習安定性を向上させること。
• タスク固有のアルゴリズム的再設計を必要としない、多様なテキスト生成タスクに適用可能な統一されたRLフレームワークを開発すること。
• 長大なシーケンスにおける報酬割り当てを改善し、最終報酬を中間のQ値推定に結びつけること。

提案手法

• オフポリシー強化学習と安定な価値関数学習の進展を活用するため、テキスト生成をソフトQ学習問題に再定式化する。
• 経路一貫性学習（PCL）を適応し、オンポリシーとオフポリシーの更新を整合させ、安定的で効率的な学習を可能にする。
• 二重更新メカニズムを用いる：モデルが生成するシーケンスからのオンポリシー更新と、人間が書いたテキストなどのデモンストレーションデータからのオフポリシー更新。
• 各ステップで全候補アクションのQ値を同時に最適化する共同Q値更新戦略を適用し、学習効率を向上させる。
• 最終シーケンス報酬を直接に中間Q値を監視する報酬伝搬メカニズムを導入し、報酬割り当てを強化する。
• エントロピー正則化を施したソフトQ関数を用い、探索を促進し、部分的最適ポリシーへの早期収束を防止する。

実験結果

リサーチクエスチョン

• RQ1 経路一貫性学習を組み合わせたソフトQ学習は、スパース報酬設定下でテキスト生成において安定的かつ効率的な学習を可能にするか？
• RQ2 オンポリシーとオフポリシーの更新を組み合わせることで、低データ状況下のテキスト生成タスクにおけるデータ効率と性能がどのように向上するか？
• RQ3 提案手法は、敵対的攻撃やプロンプト生成を含む多様なテキスト生成応用にどの程度一般化可能か？
• RQ4 MLEが失敗するノイズ混在または否定的訓練例からも、この手法は効果的に学習可能か？
• RQ5 自己回帰的Q値更新と比較して、共同Q値更新戦略は学習効率をどのように向上させるか？

主な発見

• 提案されたSQLフレームワークは、敵対的攻撃生成やプロンプト最適化を含む、全評価タスクで最大尤度推定法および先行するポリシー勾配法・Q学習ベースラインを上回る性能を達成した。
• 敵対的攻撃生成のタスクでは、次善のベースラインと比較して25%高い成功率を達成し、優れた攻撃効果性を示した。
• プロンプト生成のタスクでは、ベースラインと比較して、ターゲットモデルの性能が30%向上し、優れたゼロショット転送能力を示した。
• ノイズ混在または否定的例題で学習した場合、入力データの品質を上回る妥当な帰結出力を生成する能力を示し、強力な一般化能力を示した。
• 経路一貫性学習コンponentは、訓練の安定性を顕著に向上させ、標準的なQ学習と比較して報酬信号の分散を40%削減した。
• 共同Q値更新メカニズムにより、候補アクション間の並列化が可能となり、自己回帰的Q値更新と比較して学習時間を35%短縮した。