[論文レビュー] RewardBench: Evaluating Reward Models for Language Modeling

Nathan Lambert, Valentina Pyatkin+10 more|arXiv (Cornell University)|Mar 20, 2024

Topic Modeling被引用数 4

ひとこと要約

RewardBenchは、言語モデルの強化学習による人間フィードバック（RLHF）で使用される報酬モデル（RM）を評価する包括的なベンチマークデータセットとコードベースを導入する。この評価では、分類器ベースのモデルや直接的好み最適化（DPO）で訓練されたモデルを含む多様なRMを、安全性、推論、チャットの分野における構造的で分布外のプロンプトで評価し、拒否行動、推論、一般化に関する主要な制限を明らかにしている。特に、DPOモデルは標準的なテストセットにおいて顕著な限界を示している。

ABSTRACT

Reward models (RMs) are at the crux of successfully using RLHF to align pretrained models to human preferences, yet there has been relatively little study that focuses on evaluation of those models. Evaluating reward models presents an opportunity to understand the opaque technologies used for alignment of language models and which values are embedded in them. Resources for reward model training and understanding are sparse in the nascent open-source community around them. To enhance scientific understanding of reward models, we present RewardBench, a benchmark dataset and code-base for evaluation. The RewardBench dataset is a collection of prompt-chosen-rejected trios spanning chat, reasoning, and safety, to benchmark how reward models perform on challenging, structured and out-of-distribution queries. We create specific comparison datasets for RMs that have subtle, but verifiable reasons (e.g. bugs, incorrect facts) why one answer should be preferred to another. On the RewardBench leaderboard, we evaluate reward models trained with a variety of methods, such as the direct MLE training of classifiers and the implicit reward modeling of Direct Preference Optimization (DPO). We present many findings on propensity for refusals, reasoning limitations, and instruction following shortcomings of various reward models towards a better understanding of the RLHF process.

研究の動機と目的

• 報酬モデル（RM）の体系的評価の欠如に取り組む。RMはRLHFの中心的役割を果たすが、人間の好みに従ってLLMを調整する役割を果たす一方で、その研究は依然として不足している。
• 分類器ベースおよびDPOで訓練されたモデルを含む多様なRMアーキテクチャを、構造的で分布外のクエリに対して統一されたベンチマークデータセットとコードベースで評価する。
• 標準化されたリーダーボードを用いて、多様で人間が検証済みのプロンプト・チョイス／リジェクトのトリオを用いて、オープンウェイトの報酬モデルの現在の状況をマップする。
• 特にDPOベースのモデルの一般化性と耐性を、完璧に区別できる違いを持つ補完の差異が微妙な好み評価セットで調査する。
• 完全なデータ、推論ツール、可視化サポートを備えた再現可能な評価フレームワークをリリースし、RMの行動と整合性特性のより深い分析を可能にする。

提案手法

• 著者らは、チャット、推論、安全性の3つの分野にわたり、人間が検証済みの好ましいおよび好ましくない補完を含む、プロンプト・勝ち・負けのトリオからなるベンチマークデータセットを収集した。
• 各データポイントは、プロンプトと、選ばれた（好ましい）および拒否された（あまり好ましくない）補完のペアとして構造化されており、事実誤認、論理的欠陥、または倫理的懸念といった微妙な差異をテストするように意図的に設計されている。
• ベンチマークには、最先端のRMでほぼ100％の正確性を達成できる簡単なサンプルと、最高のモデルですら60–70％程度の正確性しか得られない難しいサンプルが含まれており、モデルの耐性の評価が可能である。
• 評価フレームワークは、直接MLE分類で訓練されたモデル（例：UltraRM、Starling）およびDPOでファインチューニングされたモデル（例：Zephyr、Qwen-Chat、Tulu 2）を含む幅広いRMの推論をサポートする。
• HF.co/spaces/allenai/reward-bench に公開リーダーボードを維持しており、継続的なモデル比較とデータセットごとのパフォーマンスの追跡が可能である。
• コードベースは共通の推論スタック、可視化ツール、およびすべてのテキスト-スコアペアへのアクセスを提供し、RMの行動と意思決定境界のさらなる分析を可能にする。

Figure 1: The scoring method of the RewardBench evaluation suite. Each prompt is accompanied by a chosen and rejected completion which are independently rated by a reward model.

実験結果

リサーチクエスチョン

• RQ1 分類器ベースの報酬モデルとDPOで訓練されたモデルは、多様で分布外の好み評価タスクにおいて、一般化性と耐性の観点でどのように比較されるか？
• RQ2 報酬モデルはどの程度拒否行動を示すのか。また、その傾向は、危険なトピックや架空の暴力を含むプロンプトの種別によってどのように変化するか？
• RQ3 現在の報酬モデルは推論と事実の整合性において、どのような限界を示しているのか。特に、補完に微妙な論理的または事実誤認がある場合に顕著である。
• RQ4 DPOベースのモデルは標準的な好み評価ベンチマークでどの程度のパフォーマンスを示すのか。また、ファインチューニングの分布外に一般化できるのか？
• RQ5 報酬モデルの主な失敗モードは何か。また、安全性、推論、指示従いなどの特定のプロンプトカテゴリとどのように相関しているか？

主な発見

• DPOで訓練されたモデルは、その人気とトレーニングの容易さにもかかわらず、標準的な好み評価テストセットへの一般化がうまくいかず、パフォーマンスのばらつきが顕著に見られる。
• 分類器ベースの報酬モデル（例：UltraRM、Starling）は、同じベンチマークでDPOモデルを一貫して上回っており、特に難しい分布外のサンプルで顕著な優位性を示している。
• 多くの報酬モデルは、暴力や感受性の高いトピックを含むプロンプトに対して高い拒否率を示す。これは、仮想的または架空の文脈であっても、安全対策の過剰適合を示している。
• XSTest Should Respondサブセットでは、プロンプトが害を及えないか、あるいは架空の文脈であっても、モデルが頻繁に回答を拒否する。これは、曖昧またはエッジケースのシナリオで過剰な拒否の傾向があることを示している。
• 最先端のモデルでさえ、最も困難なサンプルで60–70％の正確性しか達成できず、現在のRMが微妙な推論や事実の整合性にまだ苦労していることを示している。
• ベンチマークは、優れたパフォーマンスを示すRMですら、わずかな事実誤認や論理的不整合を含むプロンプトで失敗することを明らかにしている。これは、報酬モデルが人間の好みの微妙な側面を信頼性を持って捉えていない可能性を示唆している。

Figure 2: The distribution of rewards outputted by reward models for the chosen and rejected responses in the RewardBench dataset. A large variety of model behaviors exist among open reward models. Some top scoring models, such as Starling and UltraRM show an increased margin between the mean of the