Skip to main content
QUICK REVIEW

[论文解读] Fine-Grained Human Feedback Gives Better Rewards for Language Model Training

Zeqiu Wu, Yushi Hu|arXiv (Cornell University)|Jun 2, 2023
Topic ModelingComputer Science被引用 35
一句话总结

本文引入 Fine-Grained RLHF,它使用密集、类别特定的奖励和多个奖励模型来训练语言模型,在去毒化和长文本问答方面相较于整体奖励实现提升。

ABSTRACT

Language models (LMs) often exhibit undesirable text generation behaviors, including generating false, toxic, or irrelevant outputs. Reinforcement learning from human feedback (RLHF) - where human preference judgments on LM outputs are transformed into a learning signal - has recently shown promise in addressing these issues. However, such holistic feedback conveys limited information on long text outputs; it does not indicate which aspects of the outputs influenced user preference; e.g., which parts contain what type(s) of errors. In this paper, we use fine-grained human feedback (e.g., which sentence is false, which sub-sentence is irrelevant) as an explicit training signal. We introduce Fine-Grained RLHF, a framework that enables training and learning from reward functions that are fine-grained in two respects: (1) density, providing a reward after every segment (e.g., a sentence) is generated; and (2) incorporating multiple reward models associated with different feedback types (e.g., factual incorrectness, irrelevance, and information incompleteness). We conduct experiments on detoxification and long-form question answering to illustrate how learning with such reward functions leads to improved performance, supported by both automatic and human evaluation. Additionally, we show that LM behaviors can be customized using different combinations of fine-grained reward models. We release all data, collected human feedback, and codes at https://FineGrainedRLHF.github.io.

研究动机与目标

  • 通过使用对生成文本中的错误进行局部化的细粒度反馈来提升 RLHF 信号的动机。
  • 提出一个框架,训练在不同密度和错误类别上运行的多个粒度更细的奖励模型。
  • 在去毒化和长文本问答任务上通过自动评估和人工评估显示经验收益。
  • 展示如何将奖励模型结合起来,实现对 LM 行为的定制以满足用户需求。

提出的方法

  • 将语言生成建模为一个使用 PPO 的 RL 问题,结合一个学习到的奖励模型。
  • 引入多个粒度更细的奖励模型 R_phi_k,每个针对特定的错误类别 C_k 及密度(如子句、句子、完整序列)。
  • 通过在段落中聚合密集奖励并对流畅性应用 KL 罚项来计算令牌级奖励 r_t。
  • 在带有人类标注的粒度细分反馈上训练奖励模型,并将其整合到 PPO 中,在 RL 期间不更新奖励模型。
  • 对于问答,构建具有三个错误类别和密度等级的 QA-Feedback,分别训练奖励模型(R_phi1、R_phi2、R_phi3)。
  • 将 Fine-Grained RLHF 与整体 RLHF 及其他基线进行比较,包括消融和权重配置以研究定制化。

实验结果

研究问题

  • RQ1粒度更细、基于密度的反馈是否能在 RLHF 中提供比整体现实更强的训练信号?
  • RQ2针对不同错误类型的独立奖励模型是否能改善长文本输出的事实性、相关性和完整性?
  • RQ3将多个粒度更细的奖励进行权重组合是否能实现 LM 行为的可控定制?
  • RQ4相较于整体现实反馈,粒度化反馈在去毒化和长文本问答上是否更具样本效率?

主要发现

  • 具有句子级毒性奖励的 Fine-Grained RLHF 在 RealToxicityPrompts 上达到最低毒性并在流畅性与多样性方面具有竞争力,优于整体 RLHF。
  • 密集、粒度更细的奖励能更快降低毒性(样本效率)且流畅度相当。
  • 在长文本问答中,三个独立的奖励模型分别在相关性、事实性、信息完整性方面优于基线。
  • 组合多个奖励模型的权重可以调控 LM 行为,实现定制化(短/中/长风格生成),并揭示错误类型之间的权衡。
  • 消融显示每个奖励模型都对其目标方面有意义的贡献;移除任何一个都会导致其目标方面的性能下降。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。