[论文解读] Choice Set Misspecification in Reward Inference

Rachel Freedman, Rohin Shah+1 more|arXiv (Cornell University)|Jan 19, 2021

Reinforcement Learning in Robotics参考文献 8被引用 4

一句话总结

本文提出了奖励推理中的选择集误设问题，即机器人错误地假设了人类可能选择的反馈选项集合。该文将误设分类为五种类别，表明某些类型会导致严重性能下降（例如，推断出与真实奖励相反的奖励），而另一些类型在数学期望上是无害的，从而可通过优先选择无害的误设类别来设计更鲁棒的奖励学习系统。

ABSTRACT

Specifying reward functions for robots that operate in environments without a natural reward signal can be challenging, and incorrectly specified rewards can incentivise degenerate or dangerous behavior. A promising alternative to manually specifying reward functions is to enable robots to infer them from human feedback, like demonstrations or corrections. To interpret this feedback, robots treat as approximately optimal a choice the person makes from a choice set, like the set of possible trajectories they could have demonstrated or possible corrections they could have made. In this work, we introduce the idea that the choice set itself might be difficult to specify, and analyze choice set misspecification: what happens as the robot makes incorrect assumptions about the set of choices from which the human selects their feedback. We propose a classification of different kinds of choice set misspecification, and show that these different classes lead to meaningful differences in the inferred reward and resulting performance. While we would normally expect misspecification to hurt, we find that certain kinds of misspecification are neither helpful nor harmful (in expectation). However, in other situations, misspecification can be extremely harmful, leading the robot to believe the opposite of what it should believe. We hope our results will allow for better prediction and response to the effects of misspecification in real-world reward inference.

研究动机与目标

• 识别并形式化奖励推理中一种新的误设来源：对人类反馈选项选择集的错误假设。
• 基于人类与机器人选择集之间的关系以及最优反馈的位置，将选择集误设分类为若干可实证区分的类别。
• 分析不同类别的误设如何影响推断出的奖励及最终智能体的性能，包括遗憾度与信念准确性。
• 证明并非所有误设都具有同等危害性，某些类型在数学期望下是无害的。
• 通过识别可最小化有害误设的策略（如偏好更大的机器人选择集），为设计更鲁棒的奖励学习系统提供建议。

提出的方法

• 在奖励理性隐式选择（RRiC）框架内形式化选择集误设，将人类反馈建模为来自选择集 C_H，而机器人信念建模为来自 C_R。
• 基于集合关系（如 C_H ⊆ C_R、C_R ⊆ C_H）和最优反馈 c* 相对于两个集合的位置，定义五种类别的误设分类。
• 使用带有理性参数 β 的 Boltzmann 理性模型来建模人类在反馈选项上的选择概率。
• 使用贝叶斯规则对奖励参数 θ 进行概率推理：P(θ|c_H, C_R) ∝ P(c_H|θ, C_R)P(θ)，其中 P(c_H|θ, C_R) 通过 RRiC 模型计算。
• 使用遗憾度评估性能，定义为在误设条件下真实奖励与推断奖励之间期望奖励的差异。
• 在网格世界环境中进行实证评估，比较不同误设类别下推断出的信念及由此产生的行为。

实验结果

研究问题

• RQ1 机器人对人类反馈选项选择集的误设在多大程度上影响推断出的奖励和最终的智能体行为？
• RQ2 是否存在某些选择集误设类别，即使假设错误，其在数学期望下也具有无害效果？
• RQ3 哪些类型的选择集误设会导致最严重的性能下降，例如推断出与真实奖励相反的奖励？
• RQ4 是否可以通过设计机器人选择集的结构来系统性降低有害误设的风险？
• RQ5 在何种条件下选择集误设不会影响期望性能，这对安全机器人学习意味着什么？

主要发现

• 选择集误设可能导致严重性能下降，其中一类（B3）会导致机器人推断出与真实奖励相反的奖励，造成高遗憾度。
• 相比之下，当最优反馈同时存在于人类和机器人选择集中，且机器人选择集更大时（A2类），误设在数学期望下是无害的，不会影响期望性能。
• 当人类实际选择集是机器人假设集合的真子集时，机器人对奖励参数的信念可能被显著扭曲，尤其是当人类的选择在机器人的扩展集合中并非最优时。
• 在某些情况下，误设会导致过度自信（例如，当机器人选择集包含大量次优选项时），而在其他情况下则导致不自信，具体取决于误设类别。
• 实证结果表明，在 B3 类中，人类选择集包含机器人选择集中不存在的选项，且最优反馈存在于机器人选择集中但不在人类选择集中，此时机器人会推断出使真实奖励相反的奖励。
• 研究建议，通过设计比人类选择集更大的机器人选择集（即偏好 A2 类），可实现更无害的误设，从而降低灾难性推断错误的风险。