[論文レビュー] RLHF Workflow: From Reward Modeling to Online RLHF

Hanze Dong, Wei Xiong+8 more|arXiv (Cornell University)|May 13, 2024

Simulation Techniques and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本論文は、多様なオープンデータセットを用いて訓練されたプロキシ好みモデルを用いて人間のフィードバックを近似することで、再現可能で完全にオープンソースのオンライン反復的強化学習（RLHF）ワークフローを提示する。この手法は、AlpacaEval-2、Arena-Hard、MT-Bench などのベンチマークで最先端の性能を達成し、SFR-Iterative-DPO-LLaMA-3-8B-R モデルは反復的オンポリシー最適化と長さペナルティ低減を経て、オフラインベースラインを上回る性能を発揮する。

ABSTRACT

We present the workflow of Online Iterative Reinforcement Learning from Human Feedback (RLHF) in this technical report, which is widely reported to outperform its offline counterpart by a large margin in the recent large language model (LLM) literature. However, existing open-source RLHF projects are still largely confined to the offline learning setting. In this technical report, we aim to fill in this gap and provide a detailed recipe that is easy to reproduce for online iterative RLHF. In particular, since online human feedback is usually infeasible for open-source communities with limited resources, we start by constructing preference models using a diverse set of open-source datasets and use the constructed proxy preference model to approximate human feedback. Then, we discuss the theoretical insights and algorithmic principles behind online iterative RLHF, followed by a detailed practical implementation. Our trained LLM achieves impressive performance on LLM chatbot benchmarks, including AlpacaEval-2, Arena-Hard, and MT-Bench, as well as other academic benchmarks such as HumanEval and TruthfulQA. We have shown that supervised fine-tuning (SFT) and iterative RLHF can obtain state-of-the-art performance with fully open-source datasets. Further, we have made our models, curated datasets, and comprehensive step-by-step code guidebooks publicly available. Please refer to https://github.com/RLHFlow/RLHF-Reward-Modeling and https://github.com/RLHFlow/Online-RLHF for more detailed information.

研究の動機と目的

• 閉鎖型とオープンソースのRLHFのギャップを埋めるために、リソース制約のある環境でもオンラインで反復的RLHFを実装すること。
• オープンソースのデータセットを人間のフィードバックの代替として用いることで、実用的で再現可能なオンライン反復的RLHFのパイプラインを開発すること。
• 報酬モデリング段階で学習された長さペナルティを用いて、LLMの出力における長さバイアスを軽減すること。
• 完全にオープンソースのデータとモデルを用いて、標準的なLLMベンチマークで最先端の性能を示すこと。
• オープンソースRLHFへの参入障壁を下げるために、包括的なコード、データセット、ハイパーパramータガイドを提供すること。

提案手法

• 多様なオープンソースの好みデータセットを用いて、人間のフィードバックを模倣するプロキシ好みモデルを構築する。
• オンポリシー採番を用いた反復的直接好み最適化（DPO）を適用し、閉ループ形式でポリシーを改善する。
• KL正則化目的関数を用いてポリシーを最適化し、報酬最大化と初期ポリシーからの逸脱のバランスを取る。
• 出力の冗長性を低減し、応答品質を向上させるために、報酬関数に長さペナルティを組み込む。
• ブラッドリー＝テリー（Bradley-Terry）モデルを用いて、好み信号を確率的報酬として形式化する：$\mathbb{P}(a^1 \succ a^2) = \sigma(r^*(x,a^1) - r^*(x,a^2))$。
• 最終モデル SFR-Iterative-DPO-LLaMA-3-8B-R を、人間フィードバックの代替としてのプロキシと、報酬品質および長さ制御に関するアブレーションスタディを用いて反復的微調整により訓練する。

実験結果

リサーチクエスチョン

• RQ1 直接的人間フィードバックが得られないオープンソース環境でも、オンライン反復的RLHFを効果的に実装できるか？
• RQ2 オープンデータセット上で訓練されたプロキシ好みモデルは、人間フィードバックと比較して、整合性の質やモデル性能においてどの程度の差異を示すか？
• RQ3 学習された長さペナルティが、反復的RLHFにおける応答品質とベンチマーク性能に与える影響は何か？
• RQ4 報酬モデルの選定が、収束速度、応答長、学術的ベンチマークとチャットベースのベンチマークにおける性能に与える影響は何か？
• RQ5 プロキシフィードバックを用いた反復的オンポリシーRLHFは、閉鎖型モデルと同等の最先端の結果を達成できるか？

主な発見

• SFR-Iterative-DPO-LLaMA-3-8B-R モデルは、AlpacaEval-2 で 41.9% の勝率を達成し、長さペナルティを含まないベースラインを著しく上回る。
• 長さペナルティを適用したモデルは、Arena-Hard ベンチマークで平均応答長を 656 ツイートから 382 ツイートに短縮し、長さ制御が向上した。
• UltraRM-13B を用いて訓練したモデルは、より高い訓練損失と遅延収束を示しており、提案されたプロキシモデルがより複雑な好み信号を含んでいることを示唆している。
• 長めの応答を示しても、UltraRM-13B モデルは Arena-Hard でより高い勝率（29.1 対 22.1）を達成しており、このベンチマークに冗長性バイアスが存在する可能性を示している。
• 長さペナルティを適用したモデルは、HumanEval（+66.5）および TruthfulQA（+65.1）でより優れた結果を達成しており、推論力と事実の整合性が向上していることが示唆される。
• アブレーションスタディの結果、報酬モデルの品質と長さペナルティが、特に推論および整合性ベンチマークにおいて性能に重要な要因であることが確認された。