[论文解读] Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations

Daniel S. Brown, Wonjoon Goo+1 more|arXiv (Cornell University)|Jul 9, 2019

Reinforcement Learning in Robotics参考文献 63被引用 32

一句话总结

论文提出 D-REX，通过向行为克隆注入噪声自动生成排序演示来学习奖励函数，从而学习的策略在无需额外监督的情况下超过演示者。它给出在何时可能超越演示者模仿的理论，并在 MuJoCo 和 Atari 基准测试上展示了强劲的经验增益。

ABSTRACT

The performance of imitation learning is typically upper-bounded by the performance of the demonstrator. While recent empirical results demonstrate that ranked demonstrations allow for better-than-demonstrator performance, preferences over demonstrations may be difficult to obtain, and little is known theoretically about when such methods can be expected to successfully extrapolate beyond the performance of the demonstrator. To address these issues, we first contribute a sufficient condition for better-than-demonstrator imitation learning and provide theoretical results showing why preferences over demonstrations can better reduce reward function ambiguity when performing inverse reinforcement learning. Building on this theory, we introduce Disturbance-based Reward Extrapolation (D-REX), a ranking-based imitation learning method that injects noise into a policy learned through behavioral cloning to automatically generate ranked demonstrations. These ranked demonstrations are used to efficiently learn a reward function that can then be optimized using reinforcement learning. We empirically validate our approach on simulated robot and Atari imitation learning benchmarks and show that D-REX outperforms standard imitation learning approaches and can significantly surpass the performance of the demonstrator. D-REX is the first imitation learning approach to achieve significant extrapolation beyond the demonstrator's performance without additional side-information or supervision, such as rewards or human preferences. By generating rankings automatically, we show that preference-based inverse reinforcement learning can be applied in traditional imitation learning settings where only unlabeled demonstrations are available.

研究动机与目标

• 提供一个理论条件，在该条件下模仿学习可以超越演示者的性能。
• 表明演示排序在IRL中可以减少奖励函数的不确定性。
• 开发一种实用方法（D-REX），无需人类标签即可自动生成排序。
• 在仿真机器人和 Atari 基准上经验性验证 D-REX。
• 将 D-REX 与标准模仿学习及演示者性能进行比较。

提出的方法

• 使用行为克隆从未标记的演示中学习一个策略。
• 向克隆策略中注入噪声以创建具有不同性能水平的轨迹。
• 从噪声水平自动推导轨迹排序（噪声越大→表现越差）。
• 将 Trajectory-ranked Reward Extrapolation (T-REX) 应用于从自动排序中学习奖励函数。
• 使用学得的奖励函数进行强化学习来优化策略。

实验结果

研究问题

• RQ1 在何种条件下模仿学习可以超过演示者的性能？
• RQ2 通过噪声注入自动生成的未标记排序能否提供足够信号以恢复一个可实现超越演示者的外推的奖励函数？
• RQ3 D-REX 在多样基准上是否优于标准模仿学习和演示者，且无需额外监督？

主要发现

• D-REX 在 MuJoCo 和 Atari 任务中通常实现超越演示者的性能，在大多数情况下优于 BC 和 GAIL。
• 自动噪声扰动导致策略性能单调下降，能够实现可靠排序（epsilon-贪婪噪声）。
• 从自动排序中学习的奖励与真实回报相关，并揭示具有语义意义的特征。
• D-REX 实现显著的外推：在排除一个已知漏洞游戏时，Atari 任务的平均提升约为39%，MuJoCo 基准也有显著增益。
• 在他们的实验中，D-REX 的最差情形表现也优于演示者或基于 IRL 的标准模仿方法。
• D-REX 是首个在没有奖励或人类偏好的情况下实现超越演示者的外推的方法。