[论文解读] Models of human preference for learning reward functions

W. Bradley Knox, Stephane Hatgis-Kessell+4 more|arXiv (Cornell University)|Jun 5, 2022

Mental Health Research Topics被引用 8

一句话总结

本文提出了一种基于遗憾的偏好模型，用于逆强化学习中的奖励函数学习，认为人类偏好更应由与最优行为的偏离（遗憾）来解释，而非由部分回报解释。该文证明了在无限偏好条件下，遗憾模型具有可识别性，并通过实证结果表明，该模型在人类偏好预测、策略性能以及与人类价值观的一致性方面均优于标准的部分回报模型。

ABSTRACT

The utility of reinforcement learning is limited by the alignment of reward functions with the interests of human stakeholders. One promising method for alignment is to learn the reward function from human-generated preferences between pairs of trajectory segments, a type of reinforcement learning from human feedback (RLHF). These human preferences are typically assumed to be informed solely by partial return, the sum of rewards along each segment. We find this assumption to be flawed and propose modeling human preferences instead as informed by each segment's regret, a measure of a segment's deviation from optimal decision-making. Given infinitely many preferences generated according to regret, we prove that we can identify a reward function equivalent to the reward function that generated those preferences, and we prove that the previous partial return model lacks this identifiability property in multiple contexts. We empirically show that our proposed regret preference model outperforms the partial return preference model with finite training data in otherwise the same setting. Additionally, we find that our proposed regret preference model better predicts real human preferences and also learns reward functions from these preferences that lead to policies that are better human-aligned. Overall, this work establishes that the choice of preference model is impactful, and our proposed regret preference model provides an improvement upon a core assumption of recent research. We have open sourced our experimental code, the human preferences dataset we gathered, and our training and preference elicitation interfaces for gathering a such a dataset.

研究动机与目标

• 解决当前逆强化学习方法的局限性，即假设人类偏好完全基于某段轨迹中的部分回报（即奖励之和）。
• 提出一种基于遗憾的替代偏好模型，通过衡量与最优决策行为的偏离程度，作为人类偏好更准确的表征方式。
• 理论上证明，在无限偏好条件下，遗憾模型能够唯一识别出真实的奖励函数，而部分回报模型在多种理论情境下均无法实现。
• 通过实证方法验证遗憾模型在预测真实人类偏好以及学习更对齐人类价值观的策略方面的优越性。

提出的方法

• 将遗憾定义为轨迹段中每个转移的优势值之和的相反数，相对于最优策略而言。
• 构建一种偏好模型，其中人类偏好的概率取决于每个段的遗憾值，而非其部分回报。
• 证明在无限且无噪声偏好条件下，遗憾模型能够唯一识别真实奖励函数，而部分回报模型在多种理论情境下均无法实现。
• 在丰富网格世界环境中收集人类标注的偏好数据集，用于比较模型性能。
• 使用基于遗憾和部分回报模型的偏好学习方法训练奖励函数，随后通过归一化平均回报评估策略性能。
• 开展消融实验，包括移除早期终止段，并在100个具有相同真实奖励函数的MDP上进行泛化测试。

实验结果

研究问题

• RQ1 将人类偏好建模为由遗憾驱动而非部分回报，是否能在理论上实现对真实奖励函数的更好可识别性？
• RQ2 与部分回报模型相比，基于遗憾的偏好模型在预测真实人类偏好方面表现如何？
• RQ3 通过遗憾偏好模型学习到的策略是否能在人类对齐性能上优于部分回报模型？
• RQ4 遗憾模型在具有相同底层奖励函数但不同MDP实例化的情况下，是否具有更好的泛化能力？
• RQ5 部分回报模型无法识别真实奖励函数，是否源于结构问题，如奖励函数偏移或段长变化？

主要发现

• 在第一阶段的人类偏好数据上，遗憾偏好模型的归一化平均回报达到0.999，而部分回报模型得分为-12.7，表明前者接近最优性能，后者严重次优。
• 在人类标注数据集的所有划分中，遗憾模型在预测人类偏好方面均优于部分回报模型，尤其在接近最优和优于随机的性能阈值下表现更优。
• 在100个具有相同真实奖励函数的MDP上的泛化测试中，遗憾模型比部分回报模型更一致地实现接近最优的性能，尤其在20个和5个训练划分下表现更佳。
• 在涉及可变长度轨迹或单步转移段的情境中，部分回报模型无法识别真实奖励函数，而遗憾模型仍保持可识别性。
• 即使从训练数据中移除早期终止段，遗憾模型的性能依然稳健，证实部分回报模型的差表现源于结构性缺陷，而非数据特异性偏差。
• 在泛化性能方面，两模型之间无显著统计差异（p > 0.2），但遗憾模型在接近最优策略恢复的频率上始终显著优于部分回报模型。