[論文レビュー] Offline RL for Natural Language Generation with Implicit Language Q Learning

Charlie Snell, Ilya Kostrikov+3 more|arXiv (Cornell University)|Jun 5, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、ユーザー指定の報酬関数を最適化するために、静的で劣化したデータセットのみを用いて、大規模言語モデルの微調整を実現する新しいオフライン強化学習手法である暗黙的言語Q学習（ILQL）を提案する。ILQLは、価値の保守性と暗黙のデータセットサポート制約を組み合わせることで、オンライン相互作用を必要とせずに安定した学習と効果的な方策学習を可能にし、客観的および主観的な報酬関数の両方で優れた性能を達成している。具体的には、有害コンテンツ検出や対話生成といったタスクにおいても有効である。

ABSTRACT

Large language models distill broad knowledge from text corpora. However, they can be inconsistent when it comes to completing user specified tasks. This issue can be addressed by finetuning such models via supervised learning on curated datasets, or via reinforcement learning. In this work, we propose a novel offline RL method, implicit language Q-learning (ILQL), designed for use on language models, that combines both the flexible utility maximization framework of RL algorithms with the ability of supervised learning to leverage previously collected data, as well as its simplicity and stability. Our method employs a combination of value conservatism alongside an implicit dataset support constraint in learning value functions, which are then used to guide language model generations towards maximizing user-specified utility functions. In addition to empirically validating ILQL, we present a detailed empirical analysis of situations where offline RL can be useful in natural language generation settings, demonstrating how it can be a more effective utility optimizer than prior approaches for end-to-end dialogue, and how it can effectively optimize high variance reward functions based on subjective judgement, such as whether to label a comment as toxic or not.

研究の動機と目的

• ユーザーが指定するタスクに大規模言語モデルを整合させる課題に取り組み、しばしばプロンプトによって一貫性のない反応が生じる問題を解決すること。
• 教師あり微調整やオンライン強化学習の限界を克服し、静的データセット上で安定的かつデータ効率の良い方策最適化を可能にすること。
• 時間的合成性をサポートする方法を設計する—すなわち、データセットに最適な例しか含まれない場合でも、最適な行動を学習できることを保証すること。
• 毒性分類など、標準的な教師ありまたは模倣学習手法では困難な、高分散性または主観的な報酬関数の最適化を可能にすること。
• 学習の単純さ、スケーラビリティ、性能のバランスを図り、オフラインRLを実世界のNLP応用に実用可能にする。

提案手法

• 報酬ラベルが付与されたオフラインデータを用いて、トランスフォーマーに基づく言語モデルを、状態行動Q値および状態価値を予測するように訓練する。
• Q関数の上側分位数（upper-expectile）に値関数をフィッティングすることで、反復的方策改善を実行し、高性能な方策の安定的最適化を可能にする。
• 暗黙のデータセットサポート制約を適用することで、方策出力が提示されたデータのサポート内に留まるように保証し、一般化性と安定性を向上させる。
• 学習とデコードを分離するため、推論時に標準的な言語モデルを尤度摂動によって誘導できる価値関数を学習する。
• 温度パラメータ（τ）とβパラメータを用いて、探索と方策エントロピーを制御し、性能と多様性のトレードオフを可能にする。
• 訓練中に反事後サンプリングや外部言語モデルの尤度に依存せず、訓練時間の複雑さと依存関係を低減する。

実験結果

リサーチクエスチョン

• RQ1 オンライン相互作用なしで、静的で劣化したデータセットのみを用いて、オフラインRL手法が言語モデルの行動を効果的に最適化できるか？
• RQ2 ILQLは、多様な報酬関数において、教師あり微調整や先行するオフラインRLベースラインと比較して、性能と安定性の点で優れているか？
• RQ3 ILQLは、データセットに最適な例が存在しない場合でも、最適な行動を学習できるか？— これは時間的合成性の証明である。
• RQ4 ILQLは、毒性検出や人間の好みの整合性など、主観的または高分散性の報酬関数を効果的に最適化できるか？
• RQ5 ILQLは、性能向上を図る一方で、どの程度方策の多様性を維持できるか？また、ハイパーパrameter βとτは、このトレードオフにどのように影響を与えるか？

主な発見

• ILQLは、有害コメント生成タスクにおいて、教師あり微調整およびフィルタリング済み微調整を上回り、平均報酬が-0.01 ± 0.01（β=16）および0.00 ± 0.00（β=32）を達成。エントロピーがほぼゼロであり、高品質で有害でない出力を示している。
• Redditコメントデータセットでは、τ=0.6およびβ=32でILQLが、9.83 ± 0.04（実際のアップボート数）および10.00 ± 0.00（モデルによる予測）を達成。これは、ワンステップRLや微調整ベースラインを顕著に上回っている。
• 人間がプレイしたWordleデータセットでは、τ=0.7およびβ=4でILQLが-2.23 ± 0.03の報酬を達成。ワンステップRL（-2.24 ± 0.03）およびフィルタリング済み微調整（-2.93 ± 0.06）を上回った。
• ILQLは、対話成功など客観的報酬（例：対話成功）と、毒性など主観的報酬の両方で高い性能を維持しており、堅牢性を示している。
• βが増加するにつれ、ILQLの方策は性能が向上するがエントロピーが低下する。これは、報酬最大化と出力多様性の間で効果的なトレードオフが実現されていることを示している。
• ILQLは、エンドツーエンド対話および主観的報酬最適化タスクで最先端の性能を達成しており、先行するオフラインRL手法の高コストおよび不安定性を回避している。