[論文レビュー] Direct Preference-based Policy Optimization without Reward Modeling

Gaon An, Junhyeok Lee+4 more|arXiv (Cornell University)|Jan 30, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、報酬モデリングを回避し、対照学習フレームワークを用いて人間の好みのラベルから直接政策を最適化する、好みベースの強化学習手法であるDirect Preference-based Policy Optimization (DPPO) を提案する。この手法は、人間の好みラベルを用いたオフライン強化学習ベンチマークで最先端の性能を達成し、高次元制御タスクにおいて真の報酬を用いる手法を上回っている。

ABSTRACT

Preference-based reinforcement learning (PbRL) is an approach that enables RL agents to learn from preference, which is particularly useful when formulating a reward function is challenging. Existing PbRL methods generally involve a two-step procedure: they first learn a reward model based on given preference data and then employ off-the-shelf reinforcement learning algorithms using the learned reward model. However, obtaining an accurate reward model solely from preference information, especially when the preference is from human teachers, can be difficult. Instead, we propose a PbRL algorithm that directly learns from preference without requiring any reward modeling. To achieve this, we adopt a contrastive learning framework to design a novel policy scoring metric that assigns a high score to policies that align with the given preferences. We apply our algorithm to offline RL tasks with actual human preference labels and show that our algorithm outperforms or is on par with the existing PbRL methods. Notably, on high-dimensional control tasks, our algorithm surpasses offline RL methods that learn with ground-truth reward information. Finally, we show that our algorithm can be successfully applied to fine-tune large language models.

研究の動機と目的

• 人間の好みデータから正確な報酬モデルを学習する課題に対処すること。これはしばしば信頼性が低く、構築が困難であることがある。
• 報酬モデリングとその後の政策最適化という二段階のパイプラインを排除することで、誤差の伝搬を低減し、訓練プロセスを単純化すること。
• 報酬関数の仮定を必要とせず、好みの信号を直接活用することで、オフライン強化学習におけるデータ効率性とスケーラビリティを向上させること。
• 報酬モデリングを必要とせず、人間の好みフィードバックを用いて大規模言語モデルのファインチューニングを効果的に行えるようにすること。
• 高次元制御環境において、真の報酬に依存する手法を上回る性能を示す直接的な好みベースの政策最適化が可能であることを示すこと。

提案手法

• 本手法は、政策最適化を対照学習の問題として定式化し、好まれた軌道セグメントをポジティブペアとして扱い、好まれないものをネガティブペアとして扱う。
• 埋め込み空間において好まれたセグメントに近い軌道を生成する政策に高いスコアを割り当てる、新たな政策スコア評価指標を導入する。
• 対照的目標は、政策が好まれた軌道に近い表現を持つように、好まれない軌道からは遠ざかるように促進する。
• 対照的目標で使用される好み予測器の一般化性とロバストネスを向上させるために、予測滑らかさ正則化項を適用する。
• 報酬関数の推定や報酬モデルの学習を必要とせず、人間が提供した好みラベル付きのオフラインデータセット上で直接動作する。
• 本手法は連続制御環境および大規模言語モデルのファインチューニングの両方で評価され、広範な適用可能性が示された。

Figure 1 : An overview of the difference between our approach (below) and the baselines (top). Our approach does not require modeling the reward from the preference predictor as our policy optimization algorithm can learn directly from preference labels.

実験結果

リサーチクエスチョン

• RQ1 報酬モデルの学習を経ずに、人間の好みラベルから直接政策を最適化することは可能か？
• RQ2 政策スコア評価にための対照学習フレームワークは、報酬モデリングに基づくPbRL手法よりも優れた性能をもたらすか？
• RQ3 高次元制御タスクにおいて、真の報酬関数を用いるオフラインRL手法を上回る性能を、直接的な好みベースの最適化が達成できるか？
• RQ4 本手法は、多様なオフラインRLベンチマークにおいて、データ効率性と性能の両面でどのようにスケーリングするか？
• RQ5 本手法は、人間フィードバックを用いて大規模言語モデルのファインチューニングに成功裏に適用可能か？

主な発見

• 提案されたDPPO手法は、人間の好みラベルを用いたすべての評価済みオフラインRLタスクで、既存のPbRLベースラインを上回るか、同等の性能を達成した。
• Hopper や Ant といった高次元制御タスクにおいて、真の報酬情報を用いるオフラインRL手法を上回り、優れたデータ効率性とスケーラビリティを示した。
• 先行研究の報酬モデルが真の報酬構造を捉えられていない状況でも、Hopper環境における定性的な比較で本手法が強力な性能を発揮した。
• 予測滑らかさ正則化項の導入により、好み予測器のロバストネスと一般化性が向上し、全体の性能向上に寄与した。
• 予備の実験では、DPPOが人間フィードバックを用いて大規模言語モデルのファインチューニングに成功裏に適用可能であることが確認され、制御タスクを超えた広範な適用可能性が示唆された。
• オフラインRL設定において、本手法はサンプル効率性と安定性が向上しており、報酬モデリングを避ける直接的な好みベースの最適化が、実用的で効果的な代替手段であることが示された。

Figure 2 : Predicted reward vs. true reward on the Hopper environment when using a reward model from PbRL [ 27 ] . The reward model fails to accurately capture the underlying reward structure.