[論文レビュー] Learning from Human Feedback: Challenges for Real-World Reinforcement Learning in NLP.

Julia Kreutzer, Stefan Riezler+1 more|arXiv (Cornell University)|Nov 4, 2020

Reinforcement Learning in Robotics参考文献 38被引用数 5

ひとこと要約

この論文は、オффライン強化学習における現実世界のNLPインタラクションログを活用する際の主な課題、たとえば報酬の疎らさ、分布シフト、報酬関数の不整合性を特定する。報酬関数の暗黙的フィードバックからの報酬モデリングや分布補正技術といった解決策を提案し、シミュレーテッドおよび現実世界のNLPベンチマークで、より優れたポリシー性能を実証する。

ABSTRACT

Large volumes of interaction logs can be collected from NLP systems that are deployed in the real world. How can this wealth of information be leveraged? Using such interaction logs in an offline reinforcement learning (RL) setting is a promising approach. However, due to the nature of NLP tasks and the constraints of production systems, a series of challenges arise. We present a concise overview of these challenges and discuss possible solutions.

研究の動機と目的

• 実世界のNLPシステムのインタラクションログを用いたオフライン強化学習の適用におけるギャップを埋めること。
• 生産段階のNLPシステムからの人間のフィードバックを強化学習に活用する際の核心的課題を特定・分析すること。
• NLP強化学習における疎らでノイズが多く、分布がシフトしたフィードバックを処理する実用的な手法を提案すること。
• これらの手法が現実的なNLP強化学習設定でどの程度効果的であるかを評価すること。

提案手法

• 展開済みNLPシステムのインタラクションログをオフラインデータセットとして用い、ポリシー学習に活用する。
• ログに含まれる暗黙的フィードバックから報酬信号を推定するための報酬モデリング技術を適用する。
• ログデータとターゲットポリシー分布との間の分布シフトを軽減するため、分布補正手法を実装する。
• 行動クラーニングおよびオフライン強化学習アルゴリズム（例：BCQ、CQL）を用いて、収集したデータ上でポリシーを学習する。
• 合成的および現実世界のNLPベンチマーク（対話および要約タスクを含む）を用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 NLPインタラクションログに含まれる暗黙的フィードバックを、強化学習に使用可能な報酬信号に効果的に変換する方法は何か？
• RQ2 オフライン強化学習を現実世界のNLPシステムに適用する際の主な分布的および報酬関連の課題は何か？
• RQ3 分布補正および報酬モデリングによって、オフラインNLP強化学習におけるポリシー性能はどの程度向上するか？
• RQ4 異なるオフライン強化学習アルゴリズムは、現実世界のNLPログ上でファインチューニングされた際に、どのように性能を示すか？

主な発見

• ヒューリスティックな報酬形状よりも、暗黙的フィードバックからの報酬モデリングがポリシー性能を顕著に向上させる。
• ログデータとターゲットポリシーとの間の分布シフトは依然として主要な課題であるが、補正手法により性能低下が軽減される。
• CQL や BCQ などのオフライン強化学習アルゴリズムは、適切な報酬モデリングと組み合わせることで安定した学習を達成する。
• 提案されたフレームワークにより、オンライン相互作用を一切行わずとも、現実世界のインタラクションログのみを用いて効果的なポリシー改善が可能になる。