[论文解读] Learning to summarize from human feedback

Nisan Stiennon|arXiv (Cornell University)|Sep 2, 2020

Topic Modeling参考文献 71被引用 37

一句话总结

该论文通过人类比较训练一个奖励模型，用强化学习微调摘要策略，在 TL;DR 上获得的摘要质量高于有监督基线，并且在 CNN/DM 上转移良好且无需领域特定微调。

ABSTRACT

As language models become more powerful, training and evaluation are increasingly bottlenecked by the data and metrics used for a particular task. For example, summarization models are often trained to predict human reference summaries and evaluated using ROUGE, but both of these metrics are rough proxies for what we really care about -- summary quality. In this work, we show that it is possible to significantly improve summary quality by training a model to optimize for human preferences. We collect a large, high-quality dataset of human comparisons between summaries, train a model to predict the human-preferred summary, and use that model as a reward function to fine-tune a summarization policy using reinforcement learning. We apply our method to a version of the TL;DR dataset of Reddit posts and find that our models significantly outperform both human reference summaries and much larger models fine-tuned with supervised learning alone. Our models also transfer to CNN/DM news articles, producing summaries nearly as good as the human reference without any news-specific fine-tuning. We conduct extensive analyses to understand our human feedback dataset and fine-tuned models We establish that our reward model generalizes to new datasets, and that optimizing our reward model results in better summaries than optimizing ROUGE according to humans. We hope the evidence from our paper motivates machine learning researchers to pay closer attention to how their training loss affects the model behavior they actually want.

研究动机与目标

• 推动让语言模型的摘要与人类判断对齐，而非仅依赖简单的参考指标。
• 开发一个使用人类比较的离线批处理流水线来训练奖励模型。
• 使用 PPO 对摘要策略进行微调，以最大化人类偏好奖励。
• 评估对新领域的泛化能力并分析奖励模型的行为。
• 公开发布数据集和代码，推动人类-in-the-loop 摘要研究。

提出的方法

• 收集大量关于 Reddit TL;DR 帖子候选摘要的人类比较。
• 训练奖励模型，以预测给定帖子的两个摘要之间的人类偏好。
• 使用 PPO 对 GPT-3 风格的 Transformer 策略进行微调，使其最大化奖励模型输出，并包含一个 KL 惩罚以保持接近有监督基线。
• 使用离线的批处理循环：收集比较、训练奖励模型、优化策略，然后从新策略抽样以收集更多数据。
• 在不进行新闻领域微调的情况下评估对 CNN/DM 的迁移，并与 ROUGE 和参考摘要进行比较。
• 公开一个 64k+ 的人类反馈数据集，并提供推理代码和模型卡。

实验结果

研究问题

• RQ1 经过人类偏好训练的奖励模型能否产生比参考摘要和更大有监督模型更受人类偏好的摘要？
• RQ2 奖励模型驱动的策略是否能跨领域泛化（如从 TL;DR 到 CNN/DailyMail），而无需特定任务微调？
• RQ3 奖励模型的质量和规模如何影响最终摘要及其与人类判断的一致性？
• RQ4 针对 ROUGE 或其他自动指标进行优化是否能可靠地代理人类偏好？
• RQ5 在摘要任务中用人类反馈进行训练的局限性和风险是什么？

主要发现

• 使用人类反馈训练的策略在 TL;DR 的人类偏好测试中优于强有监督基线。
• 1.3B 与 6.7B 人类反馈模型比其有监督对手表现更好，在规模扩大时收益更大。
• 人类反馈模型在无需新闻领域微调的情况下，转移到 CNN/DM 时达到接近参考的质量。
• 奖励模型比 ROUGE 或对数概率度量更能预测人类偏好，对其优化能产生更好的摘要。
• 奖励模型的性能随数据量增加和模型规模增大而提升，但有边际收益递减。
• 64,832 条 TL;DR 比较及相关评估数据的数据集已公开发布。