[论文解读] Inverse Reinforcement Learning with Multiple Ranked Experts

Pablo Samuel Castro, Shijian Li+1 more|arXiv (Cornell University)|Jul 31, 2019

Transportation and Mobility Innovations参考文献 14被引用 8

一句话总结

该论文提出了一种新颖的逆强化学习方法，通过建模多个排名的专家与非专家，利用性能等级之间的序数偏好来恢复更完整且鲁棒的奖励函数。通过将问题形式化为最大边缘序数回归，该方法不仅捕捉了最优行为，还从排名较低的演示者中学习到了负面行为，从而在城市出租车导航等复杂环境中实现了更准确且可泛化的策略。

ABSTRACT

We consider the problem of learning to behave optimally in a Markov Decision Process when a reward function is not specified, but instead we have access to a set of demonstrators of varying performance. We assume the demonstrators are classified into one of k ranks, and use ideas from ordinal regression to find a reward function that maximizes the margin between the different ranks. This approach is based on the idea that agents should not only learn how to behave from experts, but also how not to behave from non-experts. We show there are MDPs where important differences in the reward function would be hidden from existing algorithms by the behaviour of the expert. Our method is particularly useful for problems where we have access to a large set of agent behaviours with varying degrees of expertise (such as through GPS or cellphones). We highlight the differences between our approach and existing methods using a simple grid domain and demonstrate its efficacy on determining passenger-finding strategies for taxi drivers, using a large dataset of GPS trajectories.

研究动机与目标

• 解决现有逆强化学习方法仅依赖专家演示所带来的局限性，这些方法可能遗漏真实奖励函数的关键方面。
• 通过整合非专家的行为反馈来改进策略学习，使智能体不仅能学习该做什么，还能学习不该做什么。
• 通过将性能等级建模为序数类别并采用最大边缘化方法，实现稳定且非退化的奖励函数恢复解。
• 利用真实GPS轨迹数据与性能排名，实现细粒度、数据驱动的乘客寻找策略。
• 克服单专家逆强化学习在专家避开某些区域的环境中所面临的局限，避免状态空间覆盖不全的问题。

提出的方法

• 该方法将演示者的排名视为序数类别，将每个排名视为需通过基于边缘的分类器加以区分的性能水平。
• 将奖励函数恢复问题形式化为一个凸优化问题，通过最大化相邻性能等级之间的边缘，使用每个演示者的期望特征向量。
• 核心优化包含松弛变量（ε 和 ζ），以处理错误排名的演示者，并提升对噪声或错误排名的鲁棒性。
• 解为一个权重向量 w，用于定义奖励函数，随后用于计算环境（如道路网络）的马尔可夫决策过程（MDP）表示下的值函数。
• 该方法避免了迭代求解MDP，仅依赖于期望特征统计量，因此相比需要在每一步进行策略评估的方法，计算效率更高。
• 支持增量或剪枝策略，通过识别并移除松弛值较高的演示者来优化演示者集合，这些高松弛值表明可能存在误排名。

实验结果

研究问题

• RQ1 与仅使用专家的逆强化学习相比，引入非专家行为是否能提升对更完整、更准确奖励函数的恢复？
• RQ2 将性能等级建模为序数类别并采用最大边缘化方法，是否能产生比现有逆强化学习方法更稳定且非退化的解？
• RQ3 该方法能否揭示在仅观察专家时被忽略的奖励函数隐藏负面特征？
• RQ4 在真实世界导航任务中，例如从出租车司机的GPS轨迹中学习最优乘客寻找策略，该方法的有效性如何？
• RQ5 通过学习低排名司机的行为，该方法是否能泛化到专家不常访问的区域？

主要发现

• 该方法成功识别出高需求乘客接载区域，如机场、公交站和医院，即使专家在这些区域的期望特征值较低。
• 基于非专家行为，正确识别出需求低的区域（如山区），尽管这些区域被专家避开。
• 该算法生成的值函数为市中心区域分配了较低的值，这与先前研究结果一致：顶级司机为实现长期最优表现，会避开高需求、高流量区域。
• 通过学习非专家行为，该方法在城市空间覆盖范围上显著优于仅使用专家的方法，后者常导致大片区域未被探索。
• 松弛变量的使用使得能够检测出错误排名的演示者，剔除这些异常值后，显著提升了学习到的奖励函数的质量。
• 所得到的策略为出租车司机提供了比传统路径规划算法更精细、可操作的导航策略。