[论文解读] Scalable agent alignment via reward modeling: a research direction

Jan Leike, David Krueger+4 more|arXiv (Cornell University)|Nov 19, 2018

Reinforcement Learning in Robotics参考文献 120被引用 124

一句话总结

一个通过奖励建模实现可扩展的代理人对齐的提案，将学习用户意图（奖励模型）与策略优化分离，并通过递归奖励建模来处理复杂领域和建立信任途径。

ABSTRACT

One obstacle to applying reinforcement learning algorithms to real-world problems is the lack of suitable reward functions. Designing such reward functions is difficult in part because the user only has an implicit understanding of the task objective. This gives rise to the agent alignment problem: how do we create agents that behave in accordance with the user's intentions? We outline a high-level research direction to solve the agent alignment problem centered around reward modeling: learning a reward function from interaction with the user and optimizing the learned reward function with reinforcement learning. We discuss the key challenges we expect to face when scaling reward modeling to complex and general domains, concrete approaches to mitigate these challenges, and ways to establish trust in the resulting agents.

研究动机与目标

• 用从用户反馈中学习奖励函数并通过强化学习对其进行优化来表述代理对齐问题。
• 提出奖励建模作为要达到的目标（目标）与如何实现它（策略）分离的方式。
• 识别将奖励建模扩展到复杂领域所面临的挑战并概述潜在的缓解策略。
• 引入递归奖励建模，使更具能力的代理能够获得评估协助。
• 讨论可扩展、经济、务实等期望与指导研究方向的假设。

提出的方法

• 将奖励建模定义为从用户反馈中训练一个为强化学习代理提供奖励的奖励模型。
• 使用 RL 来优化所学的奖励函数，从而把目标与策略分离。
• 研究递归奖励建模，其中更高层的代理在评估结果以训练后续代理时提供帮助。
• 调查设计规范问题（断开开关、副作用、缺失监督、遏制失效等），并论证奖励建模可以应对它们。
• 提出一个通过设计选择、测试、可解释性、验证和保证来建立信任的框架。

实验结果

研究问题

• RQ1 在保持对齐性的前提下，从用户反馈中学习的奖励函数能否扩展到复杂的现实世界领域？
• RQ2 随着奖励建模规模的扩大，会出现哪些挑战（反馈量、分布漂移、奖励劫持等），以及如何缓解？
• RQ3 递归奖励建模是否能够在不累积误差的情况下，为日益强大的代理提供评估协助的训练？
• RQ4 哪些机制（设计选择、测试、可解释性、形式验证）可以让对奖励建模代理的信任更可靠地增加？
• RQ5 在何种假设下，奖励建模提供一种实际、可扩展且经济的代理对齐路径？

主要发现

• 奖励建模可以将用户目标与代理行为分离，可能缓解信用分配，并在每次交互所需的反馈更少时实现对齐。
• 递归奖励建模通过使用下游代理来协助评估，为将评估扩展到复杂领域提供途径。
• 该方法旨在满足可扩展、经济、务实的愿望，并为实际对齐提供一个最小可行路径。
• 承认成功不能得到保证并澄清范围，排除在涉及多位用户时关于偏好聚合或不服从的问题。
• 识别核心挑战（反馈量、分布漂移、奖励劫持、不可接受的结果、奖励–结果差距）并概述潜在缓解方法。