[论文解读] Deep Bayesian Reward Learning from Preferences

Daniel S. Brown, Scott Niekum|arXiv (Cornell University)|Dec 10, 2019

Reinforcement Learning in Robotics参考文献 43被引用 15

一句话总结

该论文提出贝叶斯奖励外推（B-REX），一种深度贝叶斯逆强化学习方法，通过使用演示之间的偏好标签和后继特征，能够在不求解马尔可夫决策过程（MDP）的情况下，高效地从奖励函数的后验分布中采样，从而实现对高维视觉控制任务的可扩展性。B-REX 为模仿策略提供了高置信度的性能边界，其性能与最先进点估计方法相当，并可通过最坏情况风险分析检测奖励欺骗行为。

ABSTRACT

Bayesian inverse reinforcement learning (IRL) methods are ideal for safe imitation learning, as they allow a learning agent to reason about reward uncertainty and the safety of a learned policy. However, Bayesian IRL is computationally intractable for high-dimensional problems because each sample from the posterior requires solving an entire Markov Decision Process (MDP). While there exist non-Bayesian deep IRL methods, these methods typically infer point estimates of reward functions, precluding rigorous safety and uncertainty analysis. We propose Bayesian Reward Extrapolation (B-REX), a highly efficient, preference-based Bayesian reward learning algorithm that scales to high-dimensional, visual control tasks. Our approach uses successor feature representations and preferences over demonstrations to efficiently generate samples from the posterior distribution over the demonstrator's reward function without requiring an MDP solver. Using samples from the posterior, we demonstrate how to calculate high-confidence bounds on policy performance in the imitation learning setting, in which the ground-truth reward function is unknown. We evaluate our proposed approach on the task of learning to play Atari games via imitation learning from pixel inputs, with no access to the game score. We demonstrate that B-REX learns imitation policies that are competitive with a state-of-the-art deep imitation learning method that only learns a point estimate of the reward function. Furthermore, we demonstrate that samples from the posterior generated via B-REX can be used to compute high-confidence performance bounds for a variety of evaluation policies. We show that high-confidence performance bounds are useful for accurately ranking different evaluation policies when the reward function is unknown. We also demonstrate that high-confidence performance bounds may be useful for detecting reward hacking.

研究动机与目标

• 通过推理奖励不确定性，实现在高维视觉控制任务中的安全且稳健的模仿学习。
• 克服传统贝叶斯逆强化学习中计算不可行的问题，后者在内层循环中需要重复求解 MDP。
• 开发一种可扩展至具有原始像素输入和基于偏好演示的复杂任务的深度贝叶斯逆强化学习方法。
• 在真实奖励未知的情况下，实现对模仿策略的高置信度离策略评估。
• 通过基于后验样本计算的后验概率最坏情况性能边界，检测奖励欺骗行为。

提出的方法

• B-REX 使用演示之间的成对偏好标签来训练神经网络以预测奖励函数，从而避免求解 MDP。
• 它采用后继特征表示来建模预期的未来状态访问，实现价值函数的高效泛化。
• 该方法使用基于成对偏好排序的似然函数，结合变分推理框架，从奖励函数的后验分布中进行采样。
• 后验样本用于计算高置信度性能边界，例如基于奖励后验分布的策略回报的第 5 百分位数（0.05-VaR）。
• 在消费级笔记本电脑上，可在数分钟内生成数万个后验样本，实现可扩展的不确定性量化。
• 该方法利用深度神经网络进行函数逼近，并在雅达利游戏的原始视觉观测上端到端进行训练。

实验结果

研究问题

• RQ1 能否使贝叶斯逆强化学习在高维视觉控制任务中实现计算上的可行性？
• RQ2 在贝叶斯逆强化学习中，能否用演示上的偏好监督替代完整的 MDP 求解？
• RQ3 在真实奖励未知的情况下，深度贝叶斯逆强化学习方法生成的后验样本能否实现高置信度的离策略评估？
• RQ4 基于后验分布推导出的最坏情况性能边界能否检测模仿学习中的奖励欺骗行为？
• RQ5 与使用奖励函数点估计的最先进深度模仿学习方法相比，B-REX 的性能如何？

主要发现

• B-REX 在消费级笔记本电脑上可在数分钟内生成数万个后验奖励样本，实现了在高维设置下的可扩展贝叶斯推理。
• 通过 B-REX 学习到的模仿策略在性能上与仅使用奖励函数点估计的最先进深度模仿学习方法相当。
• 基于 B-REX 后验分布计算出的 0.05-VaR（第 5 百分位数）性能边界能准确对策略进行排序，并识别出高风险行为，例如在 Breakout 游戏中从不释放小球的 No-Op 策略，该策略利用了稀疏奖励机制。
• 部分训练策略的真实奖励回报与后验均值奖励和 0.05-VaR 均高度相关，验证了这些边界的可靠性。
• No-Op 策略在后验分布下的期望回报较高，但其 0.05-VaR 极低（-134.9），表明存在高风险，可能为奖励欺骗行为。
• 后验分布可用于检测那些过度拟合于与意图相关但与实际任务性能无关的虚假特征的策略。