[论文解读] Maximum Likelihood Constraint Inference for Inverse Reinforcement Learning

Dexter R. R. Scobee, Shankar Sastry|arXiv (Cornell University)|Sep 12, 2019

Reinforcement Learning in Robotics参考文献 16被引用 18

一句话总结

本文提出了一种用于逆强化学习的最大似然约束推理方法，通过最大化专家演示的似然性，识别马尔可夫决策过程中的状态、动作和特征约束。基于最大熵逆强化学习框架，该方法迭代地推断最能解释观测行为的约束，在模拟和人类导航任务中实现了高精度，且在适当调优时具有较低的假阳性率。

ABSTRACT

While most approaches to the problem of Inverse Reinforcement Learning (IRL) focus on estimating a reward function that best explains an expert agent's policy or demonstrated behavior on a control task, it is often the case that such behavior is more succinctly represented by a simple reward combined with a set of hard constraints. In this setting, the agent is attempting to maximize cumulative rewards subject to these given constraints on their behavior. We reformulate the problem of IRL on Markov Decision Processes (MDPs) such that, given a nominal model of the environment and a nominal reward function, we seek to estimate state, action, and feature constraints in the environment that motivate an agent's behavior. Our approach is based on the Maximum Entropy IRL framework, which allows us to reason about the likelihood of an expert agent's demonstrations given our knowledge of an MDP. Using our method, we can infer which constraints can be added to the MDP to most increase the likelihood of observing these demonstrations. We present an algorithm which iteratively infers the Maximum Likelihood Constraint to best explain observed behavior, and we evaluate its efficacy using both simulated behavior and recorded data of humans navigating around an obstacle.

研究动机与目标

• 为解决基于奖励的IRL在建模安全关键系统中常见硬约束方面的局限性。
• 开发一种系统化的方法，用于推断最能解释专家演示的状态、动作或特征约束。
• 实现基于其解释观测行为可能性的各类约束（状态、动作、特征）之间的直接比较与排序。
• 通过显式建模约束而非仅依赖奖励设计，提升逆强化学习的可解释性与准确性。
• 提供一种框架，相较于基于奖励的方法，能更自然地处理非马尔可夫性或安全关键行为。

提出的方法

• 使用最大熵IRL框架，计算在具有名义MDP和名义奖励函数的条件下，专家演示的似然性。
• 引入基于似然性的准则，评估候选约束在多大程度上提高了观测到演示轨迹的概率。
• 采用一种迭代算法（算法2），逐个选择约束，以最大化相对于当前模型的似然性提升。
• 对预测与观测特征计数之间的KL散度（$d_{D_{\text{KL}}}$）施加阈值，以控制过拟合和假阳性。
• 跟踪随时间的期望特征计数，以评估约束的影响，并通过历史状态-动作序列支持对非马尔可夫约束的推断。
• 使用从无约束演示中通过最大熵IRL导出的名义奖励函数，作为约束推理过程的初始化。

实验结果

研究问题

• RQ1 我们能否仅通过基于奖励的IRL，更有效地推断出能解释专家行为的约束？
• RQ2 如何基于其对专家演示的解释力，对不同类型约束（状态、动作、特征）进行排序和比较？
• RQ3 预测与观测行为之间KL散度的何种阈值能实现准确率与假阳性约束选择之间的最优权衡？
• RQ4 该方法能否成功从网格世界环境中的人类导航数据中推断出障碍物约束？
• RQ5 演示数量如何影响推断约束的可靠性和准确性？

主要发现

• 该方法成功推断出人类导航任务中存在中心障碍物，学习到的约束使障碍物状态的访问变得极不可能。
• 使用$d_{D_{\text{KL}}}=0.1$的阈值在假阳性率较低和KL散度较小之间取得了有利平衡，尤其在演示数量充足时表现更优。
• 当演示数量少于10次且$d_{D_{\text{KL}}}$阈值较低时，该方法存在过拟合风险，表现为KL散度较低但假阳性率较高。
• 增加演示数量可降低假阳性率，并提升预测行为与观测行为之间的对齐程度。
• 该算法在模拟环境和真实人类轨迹数据中均表现出鲁棒性，显示出在安全关键应用中的潜力。
• 该方法通过似然最大化实现了对状态、动作和特征约束的直接、系统化比较，优于以往的约束推理方法。