[論文レビュー] Fine-Tuning Language Models with Advantage-Induced Policy Alignment

Banghua Zhu, Hiteshi Sharma+5 more|arXiv (Cornell University)|Jun 4, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、人間のフィードバックを用いた言語モデルのファインチューニングのための新しい強化学習アルゴリズムであるアドバンテージ誘導型ポリシー整合（APA）を提案する。推定されたアドバンテージから導出されたターゲットポリシーとの間の二乗誤差損失を最小化することで、PPO や AWR よりも優れたサンプル効率、安定した学習、およびハイパーパrameterへの感受性の低さを達成し、HH および StackExchange データセットにおいて一貫してそれらを上回る性能を発揮するとともに、ポリシーの乖離をより厳密に制御している。

ABSTRACT

Reinforcement learning from human feedback (RLHF) has emerged as a reliable approach to aligning large language models (LLMs) to human preferences. Among the plethora of RLHF techniques, proximal policy optimization (PPO) is of the most widely used methods. Despite its popularity, however, PPO may suffer from mode collapse, instability, and poor sample efficiency. We show that these issues can be alleviated by a novel algorithm that we refer to as Advantage-Induced Policy Alignment (APA), which leverages a squared error loss function based on the estimated advantages. We demonstrate empirically that APA consistently outperforms PPO in language tasks by a large margin, when a separate reward model is employed as the evaluator. In addition, compared with PPO, APA offers a more stable form of control over the deviation from the model's initial policy, ensuring that the model improves its performance without collapsing to deterministic output. In addition to empirical results, we also provide a theoretical justification supporting the design of our loss function.

研究の動機と目的

• PPOに基づく人間からのフィードバックによる強化学習（RLHF）における不安定性、低いサンプル効率、および高いハイパーパrameter感受性を解消すること。
• 言語モデルを人間の好みに合わせるための、PPO やアドバンテージ重み付き回帰（AWR）のより安定的で効率的な代替手法を開発すること。
• 重要度比推定を回避する、アドバンテージ推定に基づく新しい損失関数の理論的裏付けを提供すること。
• 標準ベンチマークを用いて、報酬モデルスコアおよび GPT-4 の好みのアノテーションを用いて、手法の実証的妥当性を検証すること。

提案手法

• APAは、初期ポリシーと推定されたアドバンテージに基づく補正項から構成されるターゲットポリシーと、言語モデルのポリシーを直接一致させる二乗誤差損失を用いる。
• ターゲットポリシーは、オンラインロールアウトから推定されたアドバンテージ関数と初期ポリシーを用いて構築され、重要度比推定を必要とせずに直接的なポリシー改善を可能にする。
• PPOのクリッピング機構や AWR の乗法的再重み付けを避けるために、現在のポリシーと推定されたアドバンテージにのみ依存する集団損失を用いる。
• ハイパーパrameterの調整を簡素化するため、初期ポリシーからのKLダイバージェンスを制御するための1つのハイパーパrameter λ を導入し、PPOの複数のクリッピング範囲やKL係数パラメータと比較して調整が容易である。
• 固定されたアドバンテージ推定のもとで最適ポリシーに確実に収束することを保証する損失関数の設計により、理論的根拠を提供する。
• 最適化中に新しいロールアウトを継続的に生成するオンライン設定で学習が行われ、継続的なフィードバックと適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 PPO や AWR と比較して、アドバンテージ推定に基づく損失関数は、言語モデルのRLHFにおけるサンプル効率と学習安定性を向上させるか？
• RQ2 ポリシー更新における重要度比推定を回避することで、言語モデルのアライメントにおいてより安定的かつ信頼性の高いポリシー最適化が達成されるか？
• RQ3 APAの1つのハイパーパrameterによるKL制御は、PPOの複数のハイパーパramータを用いたKLコントローラーと比較して、性能と頑健性に優れているか？
• RQ4 特に小規模なモデルにおいて、APAはPPOと比較してポリシーの多様性をどれほど維持し、モード崩壊を回避できるか？
• RQ5 データセットが固定され、分布シフトが生じる可能性があるオフラインRL設定では、APAはどの程度の性能を示すか？

主な発見

• 同じ数のサンプルでファインチューニングした場合、HH および StackExchange データセットにおいて、APAはPPO や AWR よりも顕著に高い報酬スコアを達成し、優れたサンプル効率を示している。
• PPOがポリシー乖離が安全な閾値を超えた際に突然性能が低下するのとは異なり、APAはより安定した学習軌道を維持している。
• 最終ポリシーと初期ポリシー間のKLダイバージェンスは、APAではPPOよりも一貫して低く、より予測可能であることが示され、ポリシーの逸脱に対するより良い制御が可能であることを示している。
• APAはKL制御のための主要なハイパーパラメータが1つ（λ）である一方、PPOはクリッピング範囲やKL係数など複数のパラメータの微調整を必要とするため、APAはより容易にキャリブレーション可能である。
• オフライン設定では、APAは分布シフトの影響により性能が低下する一方で、AWRはより頑健であるため、APAはオフラインRLシナリオにおいて明確な限界を示している。
• GPT-4が人間の好みをラベル付けした結果を用いた実証的評価により、APAでファインチューニングされたモデルがPPOでファインチューニングされたモデルよりも好まれる応答を生成することが確認された。