[論文レビュー] RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs

Shreyas Chaudhari, Pranjal Aggarwal+6 more|arXiv (Cornell University)|Apr 12, 2024

Topic Modeling被引用数 8

ひとこと要約

本論文はLLMにおけるRLHFの基本概念を分析し、報酬モデル、その訓練、限界、およびRLフレームワーク内での不完全な報酬の影響に焦点を当てる。

ABSTRACT

State-of-the-art large language models (LLMs) have become indispensable tools for various tasks. However, training LLMs to serve as effective assistants for humans requires careful consideration. A promising approach is reinforcement learning from human feedback (RLHF), which leverages human feedback to update the model in accordance with human preferences and mitigate issues like toxicity and hallucinations. Yet, an understanding of RLHF for LLMs is largely entangled with initial design choices that popularized the method and current research focuses on augmenting those choices rather than fundamentally improving the framework. In this paper, we analyze RLHF through the lens of reinforcement learning principles to develop an understanding of its fundamentals, dedicating substantial focus to the core component of RLHF -- the reward model. Our study investigates modeling choices, caveats of function approximation, and their implications on RLHF training algorithms, highlighting the underlying assumptions made about the expressivity of reward. Our analysis improves the understanding of the role of reward models and methods for their training, concurrently revealing limitations of the current methodology. We characterize these limitations, including incorrect generalization, model misspecification, and the sparsity of feedback, along with their impact on the performance of a language model. The discussion and analysis are substantiated by a categorical review of current literature, serving as a reference for researchers and practitioners to understand the challenges of RLHF and build upon existing efforts.

研究の動機と目的

• 事前訓練済みの言語モデルにおける目的の不一致に対処することによってRLHFを動機づける。
• 報酬モデリングとフィードバックの組み込みを理解するために、ベイズの観点からRLHFを検討する。
• RLHFにおける報酬関数と報酬モデル訓練の役割と限界を分析する。

提案手法

• テキスト生成をMarkov決定過程（MDP）を用いた逐次的意思決定プロセスとして定式化する。
• oracle報酬、人間のフィードバック、対になる嗜好に対するBradley–Terryモデルを含む報酬構築を検討する。
• 報酬モデリングを回帰問題として論じ、嗜好データの尤度を分析する。
• 不完全な報酬と関数近似がRLHFの性能に与える影響を分析する。
• RLHFの構成要素とRLベースのファインチューニングの代替案に関する文献レビューを提供する。

実験結果

リサーチクエスチョン

• RQ1 人間のフィードバックから報酬モデルを推定する際、尤度 Pr(DHF|φ) の形は何か。
• RQ2 報酬モデリングの選択と不完全な報酬がRLHF訓練と言語モデルの整合性にどう影響するか。
• RQ3 限られた人間のフィードバックから訓練された報酬モデルの限界と一般化の課題は何か。
• RQ4 事前訓練済みLMの目的不一致を解消するというより広い文脈の中で、RLHFはどう適合するか。

主な発見

• 報酬モデルはRLHFの中心であり、その設計選択は整合性に対して根本的な制約を課す。
• 報酬データは通常不足しており、一般化の問題と未知の入力での誤一般化を招く。
• 不完全で、潜在的にまばらまたは誤指定された報酬は言語モデルの性能と整合性を低下させる可能性がある。
• ベイズ的解釈は、人間のフィードバックデータに基づく報酬モデルパラメータのMAP推定を強調する。
• 本論文は現在のRLHFの実践の限界を記録し、報酬モデルを伴うRL以外の代替案と拡張を調査している。