[論文レビュー] HelpSteer2-Preference: Complementing Ratings with Preferences

Zhilin Wang, Alexander Bukharin+6 more|arXiv (Cornell University)|Oct 2, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

本稿では、ブラッドリー・テリー法と回帰スタイルの報酬モデル化の直接比較を可能にするために、人間が書いた根拠を含む高品質な好みデータセットを紹介する。同じデータでモデルを訓練・評価することで、両手法を統合したハイブリッド手法を提案し、Llama-3.1-70B-Instructをベースとする報酬モデルがRewardBenchで94.1を達成した。これは2024年10月現在、140を超えるモデルの中で最高スコアであり、優れた整合性性能を示している。

ABSTRACT

Reward models are critical for aligning models to follow instructions, and are typically trained following one of two popular paradigms: Bradley-Terry style or Regression style. However, there is a lack of evidence that either approach is better than the other, when adequately matched for data. This is primarily because these approaches require data collected in different (but incompatible) formats, meaning that adequately matched data is not available in existing public datasets. To tackle this problem, we release preference annotations (designed for Bradley-Terry training) to complement existing ratings (designed for Regression style training) in the HelpSteer2 dataset. To improve data interpretability, preference annotations are accompanied with human-written justifications. Using this data, we conduct the first head-to-head comparison of Bradley-Terry and Regression models when adequately matched for data. Based on insights derived from such a comparison, we propose a novel approach to combine Bradley-Terry and Regression reward modeling. A Llama-3.1-70B-Instruct model tuned with this approach scores 94.1 on RewardBench, emerging top of more than 140 reward models as of 1 Oct 2024. This reward model can then be used with REINFORCE algorithm (RLHF) to align an Instruct model to reach 85.0 on Arena Hard, which is No. 1 as of 1 Oct 2024. We open-source this dataset (CC-BY-4.0 license) at https://huggingface.co/datasets/nvidia/HelpSteer2#preferences-new -- 1-oct-2024 and openly release the trained Reward and Instruct models at https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Reward and https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct

研究の動機と目的

• ブラッドリー・テリー法と回帰スタイルの報酬モデル化の間で、データフォーマットの不一致により直接的な実証的比較がなされていないという問題に対処すること。
• 両方の報酬モデル化パラダイムの公平な評価を可能にするために、人間が書いた根拠を含む高品質で一致した好みデータセットをリリースすること。
• ブラッドリー・テリー法と回帰スタイルの学習を組み合わせることで報酬モデルの性能が向上するかどうかを調査すること。
• 強化学習による指令チューニング（RLHF）において、提案されたハイブリッド報酬モデルの有効性を示すこと。
• CC-BY-4.0ライセンスでデータセット（CC-BY-4.0）とトレーニング済みの報酬モデルをオープンソース化することで、今後の研究のためのベンチマークを確立すること。

提案手法

• 著者らは、HelpSteer2データセットに既存のLikert-5スケール評価に加えて、ブラッドリー・テリー法と回帰学習の両方に対応したフォーマットで収集された好みのアノテーションをリリースする。
• 好みのアノテーションには、なぜ一方の応答が他方よりも好まれたかを説明する人間が書いた根拠が含まれており、解釈可能性とモデルの一般化性能が向上する。
• 同一のプロンプトと応答を用いて、同じマッチドデータ上でトレーニングされたブラッドリー・テリー法と回帰スタイルの報酬モデルを頭城比較する。
• 両者の報酬モデルの予測を統合するハイブリッド報酬モデル化アプローチを提案し、それぞれの補完的強みを活用する。
• 最終的な報酬モデルは、Llama-3.1-70B-Instructのバックボーンを用いて、好み信号とスケール評価信号の両方を組み合わせてファインチューニングし、REINFORCE、PPO、DPOによる最適化を実施する。
• 指令従順性の整合性を評価するために、RewardBench、MT-Bench、AlpacaEval 2.0、Arena Hardといった標準ベンチマークでモデルを評価する。

Figure 1: Distribution of preferences between responses in HelpSteer2Preference against the difference in helpfulness scores between them from HelpSteer2. For clarity, A refers to Response 1 while B refers to Response 2. $>>>$ means much better, $>>$ means better, $>$ means slightly better and $=$ m

実験結果

リサーチクエスチョン

• RQ1 ブラッドリー・テリー法と回帰スタイルの報酬モデル化が、適切にマッチングされた高品質なデータ上でトレーニングされた場合、どちらが性能が優れているか？
• RQ2 好み順位付けのための人間が書いた根拠を組み込むことで、報酬モデルの性能が向上するか？
• RQ3 ブラッドリー・テリー法と回帰スタイルの報酬モデル化信号を組み合わせることで、性能向上が見られるか？
• RQ4 ハイブリッド報酬モデルは、標準的な整合性ベンチマークで最先端のモデルと比べてどうか？
• RQ5 高品質でマッチングされたデータがあれば、2大報酬モデル化パラダイム間の公平な実証的比較が可能になるか？

主な発見

• ブラッドリー・テリー法と回帰スタイルの学習を統合したハイブリッド報酬モデルは、RewardBenchで94.1のスコアを達成し、2024年10月1日現在、140を超える報酬モデルの中で第1位となった。
• 本研究では、新たにリリースされた好みアノテーション上でブラッドリー・テリー法のモデルが効果的にトレーニング可能であることが実証され、高品質な報酬モデル化に有効であることが裏付けられた。
• 好みに対する人間が書いた根拠を組み込むことで、特に複雑またはニュアンスの難しい応答の順位付けにおいて、報酬モデルの性能が顕著に向上した。
• 低品質なデータ（例：HH-RLHF）でトレーニングされたモデルと高品質なデータ（例：HelpSteer2）でトレーニングされたモデルとの間には顕著な性能差があり、後者はRewardBench Chat-Hardベンチマークで80％以上の正確性を達成した。
• 提案されたハイブリッドアプローチは、単独のブラッドリー・テリー法モデルや回帰スタイルモデルを上回る性能を示し、信号学習における補完的強みが裏付けられた。
• オープンソース化されたデータセットと報酬モデルは、今後の報酬モデル化と指令チューニング分野の研究における新たなベンチマークとして期待される。

Figure 2: Distribution of Reward Scores for RewardBench responses by our best reward model (Scaled BT + ExPO, initialized on Helpfulness-Only SteerLM Regression model). Difference refers to the difference between the reward scores of chosen and rejected responses to the same prompt. When a response