[論文レビュー] A Survey of Reinforcement Learning from Human Feedback

Timo Kaufmann, Paul Weng+2 more|arXiv (Cornell University)|Dec 22, 2023

Software Engineering Research被引用数 34

ひとこと要約

この論文はRLHFの包括的な概要を提供し、基礎、フィードバックの種類、報酬モデリング、理論、応用、ベンチマーク、そしてLLMsを超えた将来の方向性を詳述している。

ABSTRACT

Reinforcement learning from human feedback (RLHF) is a variant of reinforcement learning (RL) that learns from human feedback instead of relying on an engineered reward function. Building on prior work on the related setting of preference-based reinforcement learning (PbRL), it stands at the intersection of artificial intelligence and human-computer interaction. This positioning provides a promising approach to enhance the performance and adaptability of intelligent systems while also improving the alignment of their objectives with human values. The success in training large language models (LLMs) has impressively demonstrated this potential in recent years, where RLHF has played a decisive role in directing the model's capabilities towards human objectives. This article provides an overview of the fundamentals of RLHF, exploring how RL agents interact with human feedback. While recent focus has been on RLHF for LLMs, our survey covers the technique across multiple domains. We provide our most comprehensive coverage in control and robotics, where many fundamental techniques originate, alongside a dedicated LLM section. We examine the core principles that underpin RLHF, how algorithms and human feedback work together, and the main research trends in the field. Our goal is to give researchers and practitioners a clear understanding of this rapidly growing field.

研究の動機と目的

• 人間のフィードバックがRLの目的を定義し精練するために使われる理由を説明する。
• 特に報酬モデリングと対話的学習を中心にRLHFアプローチの分類を調査する。
• RLHFにおける主要な方法、データ収集、評価実践を要約する。
• 理論的洞察と実践的ベンチマークを統合し、将来の研究を導く。

提案手法

• 報酬学習に続くRLトレーニングでRLHFフレームワークを説明する。
• PbRL、SSRL、RLHFへの分類のためにフィードバックタイプを対応づける。
• 軌跡比較のためのBradley-Terryスタイルの尤度を用いた報酬モデルの訓練を議論する。
• アクティブなラベル収集、データ効率技術、評価実践をレビューする。
• ポリシー学習をRLHF目的に結びつける理論的結果を要約する。
• RLHFの応用、ライブラリ、ベンチマークを調査する。

実験結果

リサーチクエスチョン

• RQ1 RLHFを定義する主な構成要素と原理は何か？
• RQ2 さまざまなフィードバックタイプはPbRL、SSRL、RLHFのどこに適合し、報酬モデリングにどのような影響を与えるか？
• RQ3 人間のフィードバックからの報酬学習の主要な方法は何で、どのように評価されているか？
• RQ4 RLHFに関するどんな理論的保証や洞察が存在し、それらは標準的なRLとどのように関連するか？
• RQ5 LLMsを超えたRLHFの現在の応用、ベンチマーク、実践的考慮事項は何か？

主な発見

• RLHFは単純な軌跡比較を超えるより広いフィードバックタイプを取り入れることでPbRLを一般化する。
• Bradley-Terryモデルのような確率的形式による報酬モデリングは、人間の嗜好から報酬関数を学習可能にする。
• 報酬モデルの訓練とRLポリシー学習は通常、報酬学習とポリシー最適化に分解され、半教師あり学習を可能にする。
• アクティブで対話的なラベル収集、データ拡張、およびメタ学習は、フィードバックの効率と適応性を向上させる。
• RLHFを標準的なRLへ結びつける理論的研究が増えており、整合性と安全性への洞察、LLMs以外の多様な応用とベンチマークに関する知見を提供している。
• 幅広い応用、サポートライブラリ、およびベンチマークが存在し、RLHFの広い影響と実践的関連性を示している。