[论文解读] HelpSteer2-Preference: Complementing Ratings with Preferences

Zhilin Wang, Alexander Bukharin+6 more|arXiv (Cornell University)|Oct 2, 2024

Semantic Web and Ontologies被引用 4

一句话总结

本文引入了一个新的、高质量的偏好数据集，包含人工撰写的理由，以实现对 Bradley-Terry 模型与回归风格奖励建模的直接比较。通过在匹配数据上进行训练和评估，该研究提出了一种结合两种方法的混合方法，最终基于 Llama-3.1-70B-Instruct 的奖励模型在 RewardBench 上取得了 94.1 分——截至 2024 年 10 月，该分数在超过 140 个模型中排名第一——证明了其卓越的对齐性能。

ABSTRACT

Reward models are critical for aligning models to follow instructions, and are typically trained following one of two popular paradigms: Bradley-Terry style or Regression style. However, there is a lack of evidence that either approach is better than the other, when adequately matched for data. This is primarily because these approaches require data collected in different (but incompatible) formats, meaning that adequately matched data is not available in existing public datasets. To tackle this problem, we release preference annotations (designed for Bradley-Terry training) to complement existing ratings (designed for Regression style training) in the HelpSteer2 dataset. To improve data interpretability, preference annotations are accompanied with human-written justifications. Using this data, we conduct the first head-to-head comparison of Bradley-Terry and Regression models when adequately matched for data. Based on insights derived from such a comparison, we propose a novel approach to combine Bradley-Terry and Regression reward modeling. A Llama-3.1-70B-Instruct model tuned with this approach scores 94.1 on RewardBench, emerging top of more than 140 reward models as of 1 Oct 2024. This reward model can then be used with REINFORCE algorithm (RLHF) to align an Instruct model to reach 85.0 on Arena Hard, which is No. 1 as of 1 Oct 2024. We open-source this dataset (CC-BY-4.0 license) at https://huggingface.co/datasets/nvidia/HelpSteer2#preferences-new -- 1-oct-2024 and openly release the trained Reward and Instruct models at https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Reward and https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct

研究动机与目标

• 为解决由于数据格式不兼容，导致 Bradley-Terry 模型与回归风格奖励模型之间缺乏直接实证比较的问题。
• 发布一个高质量、匹配的偏好数据集，并附带人工撰写的理由，以实现对两种奖励建模范式的公平评估。
• 探究结合 Bradley-Terry 与回归风格训练是否能提升奖励模型的性能。
• 通过强化学习人类反馈（RLHF）的指令微调，证明所提出的混合奖励模型的有效性。
• 通过开源数据集（CC-BY-4.0）和训练好的奖励模型，为未来研究建立基准。

提出的方法

• 作者发布了来自 HelpSteer2 数据集的偏好标注——连同现有的 Likert-5 评分——确保数据格式与 Bradley-Terry 和回归训练均兼容。
• 偏好标注包含人工撰写的理由，解释为何一个回复优于另一个，从而提升可解释性与模型泛化能力。
• 在相同匹配数据上，对 Bradley-Terry 与回归风格奖励模型进行一对一比较，使用相同的提示和回复。
• 该研究提出一种混合奖励建模方法，结合 Bradley-Terry 与回归模型的预测结果，利用其互补优势。
• 最终的奖励模型基于 Llama-3.1-70B-Instruct 主干网络进行微调，结合偏好信号与评分信号，通过 REINFORCE、PPO 和 DPO 进行优化。
• 在标准基准测试集 RewardBench、MT-Bench、AlpacaEval 2.0 和 Arena Hard 上对模型进行评估，以衡量其指令遵循对齐性能。

Figure 1: Distribution of preferences between responses in HelpSteer2Preference against the difference in helpfulness scores between them from HelpSteer2. For clarity, A refers to Response 1 while B refers to Response 2. $>>>$ means much better, $>>$ means better, $>$ means slightly better and $=$ m

实验结果

研究问题

• RQ1 当两者均在充分匹配、高质量的数据上进行训练时，Bradley-Terry 风格的奖励建模是否优于回归风格建模？
• RQ2 为偏好排序提供的人工撰写理由是否能提升奖励模型的性能？
• RQ3 结合 Bradley-Terry 与回归风格奖励建模信号是否能带来性能提升？
• RQ4 该混合奖励模型在标准对齐基准测试中的表现如何，相较于最先进模型？
• RQ5 高质量、匹配的数据是否能实现对两种主流奖励建模范式之间公平的实证比较？

主要发现

• 结合 Bradley-Terry 与回归风格训练的混合奖励模型在 RewardBench 上取得 94.1 分，截至 2024 年 10 月 1 日，在超过 140 个奖励模型中排名第一。
• 该研究证明，Bradley-Terry 模型可有效基于新发布的偏好标注进行训练，验证了其在高质量奖励建模中的实用性。
• 在偏好排序中引入人工撰写的理由，能显著提升奖励模型性能，尤其在复杂或细微的响应排序任务中表现更优。
• 在低质量数据（如 HH-RLHF）与高质量数据（如 HelpSteer2）上训练的模型之间，性能差距显著，后者在 RewardBench Chat-Hard 基准测试中准确率超过 80%。
• 所提出的混合方法优于单独的 Bradley-Terry 与回归模型，表明两者在信号学习中具有互补优势。
• 开源的数据集与奖励模型有望成为未来奖励建模与指令微调研究的新基准。

Figure 2: Distribution of Reward Scores for RewardBench responses by our best reward model (Scaled BT + ExPO, initialized on Helpfulness-Only SteerLM Regression model). Difference refers to the difference between the reward scores of chosen and rejected responses to the same prompt. When a response