[論文レビュー] Pairwise Proximal Policy Optimization: Harnessing Relative Feedback for LLM Alignment

Tianhao Wu, Banghua Zhu+4 more|arXiv (Cornell University)|Sep 30, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、人間の好みラベルからの比較的報酬を直接最適化することで、価値関数の近似や報酬スケーリングの必要性を排除する、軌道単位の強化学習アルゴリズムであるペアワイズプロキシタルポリシーオプティマイゼーション（P3O）を提案する。P3Oは、PPO や DPO よりも優れた KL-報酬トレードオフと人間の好みへの整合性を達成しており、プロキシ報酬と GPT-4 の勝率の両面で優れている。

ABSTRACT

Large Language Models (LLMs) can acquire extensive world knowledge through pre-training on large corpora. However, due to exposure to low-quality data, LLMs may exhibit harmful behavior without aligning with human values. The dominant approach for steering LLMs towards beneficial behavior involves Reinforcement Learning with Human Feedback (RLHF), with Proximal Policy Optimization (PPO) serving as the default RL optimizer. Despite its effectiveness, PPO has limitations when optimizing rewards trained from comparison-based loss. Primarily, PPO is not invariant to equivalent reward functions containing identical preference information due to the need to calibrate the reward scale. Additionally, PPO's necessity for token-wise updates introduces complexity in both function approximation and algorithm design compared to trajectory-wise optimization. This paper proposes a new framework, reinforcement learning with relative feedback, and a novel trajectory-wise policy gradient algorithm, Pairwise Proximal Policy Optimization (P3O) that operates directly on comparative rewards. We show theoretically that P3O is invariant to equivalent rewards and avoids the complexity of PPO. Empirical evaluations demonstrate that P3O outperforms PPO in the KL-Reward trade-off and can align with human preferences as well as or better than prior methods. In summary, this work introduces a simpler yet effective approach for aligning LLMs to human preferences through relative feedback.

研究の動機と目的

• Bradley-Terry 報酬損失を用いて訓練された報酬モデルを最適化する際の PPO の不安定さと報酬スケールへの感受性を解消すること。
• 人間の好み比較からの相対的フィードバックにネイティブに対応する強化学習フレームワークを構築し、絶対的報酬スケーリングの必要性を回避すること。
• 価値関数推定や一般化アドバンテージ推定（GAE）のような複雑な要素を避ける、より単純な軌道単位のポリシー勾配アルゴリズムを設計すること。
• LLM アライメントにおける KL-報酬トレードオフを改善しつつ、人間の好みへの整合性を維持すること。
• 好みを保存する変換に対して等価な報酬関数に不変であることを確立することにより、一貫した最適化結果を保証すること。

提案手法

• ポリシーが応答ペア間の報酬差の組み合わせのみを用いて更新される、相対的フィードバックを用いた強化学習の新フレームワークを提案する。
• 価値関数 $V$ やアドバンテージ推定を必要とせず、比較的報酬を直接最適化する軌道単位のポリシー勾配アルゴリズムとして、ペアワイズプロキシタルポリシーオプティマイゼーション（P3O）を導入する。
• 定数の報酬関数シフトに対して不変であるように保証する、ポリシー安定性を維持するプロキシタルポリシー更新メカニズムを採用する。
• P3O-V2 では、ポリシー更新の大きさと KL コントロールの両立を図るための共同クリッピング戦略を採用し、個別クリッピング（P3O-V1）を上回る性能を発揮する。
• Bradley-Terry 損失を用いて訓練されたプロキシ報酬モデルに直接対応できるようにポリシー勾配更新を適応させ、定数報酬シフトに対して不変である。
• 比較のためのベースラインとしてオンライン-DPO を導入し、P3O とは異なり、P3O ほど完全に等価な報酬に対して不変でないことが示された。

実験結果

リサーチクエスチョン

• RQ1 同じ好みデータから得られる等価な報酬関数に対して不変であるような、軌道単位のポリシー勾配アルゴリズムを設計できるか？
• RQ2 価値関数の近似と報酬スケーリングの排除が、LLM アライメントにおける学習安定性とアライメント性能の向上に寄与するか？
• RQ3 P3O は、KL-報酬トレードオフと人間の好みへの整合性において、PPO や DPO と比べてどのように異なるか？
• RQ4 ペアワイズの相対的フィードバックに基づく RL アルゴリズムは、PPO らのようなトークン単位の絶対的フィードバックに基づく手法よりも優れたアライメントを達成できるか？
• RQ5 プロキシ報酬の勝率と人間の好み評価（例：GPT-4）との間に顕著な性能ギャップが存在するか、P3O はそのギャップを埋めることができるか？

主な発見

• P3O-V2 は、TL;DR および HH データセットの両方で、PPO や DPO よりも高い報酬を得つつ、著しく低い KL 散乱度を維持しており、優れた KL-報酬トレードオフを示している。
• P3O は PPO に対して 57.0% の GPT-4 勝率、SFT に対して 69.3% の GPT-4 勝率を達成しており、報酬がより高いにもかかわらず 45.4% の GPT-4 勝率にとどまる DPO を上回っている。
• DPO は P3O よりも高いプロキシ報酬を得ているが、KL 散乱度が 25% 高く、報酬とポリシーの一貫性のトレードオフが顕著に現れている。
• P3O-V1 は P3O-V2 よりわずかに高い報酬を得ているが、KL 効率が悪いため、P3O-V2 が比較の主なベースラインとして選択された。
• KL-報酬フロンティアの結果から、P3O-V2 は HH データセットにおいて、2 つのモデルサイズすべてで PPO や DPO を上回っており、最適範囲で一貫して 0.1–0.3 の高い報酬を得ている。
• 実験的結果から、P3O が等価な報酬関数に対して不変であるのに対し、PPO はそうでないことが確認され、報酬関数不変性の理論的主張が妥当であることが裏付けられた。