[论文解读] Inverse Reinforcement Learning via Nonparametric Spatio-Temporal Subgoal Modeling

Adrian Šošić, Elmar Rueckert+3 more|arXiv (Cornell University)|Mar 1, 2018

Reinforcement Learning in Robotics参考文献 55被引用 8

一句话总结

本文提出了一种贝叶斯非参数逆强化学习框架，通过建模时空子目标来表征专家行为，从而在全局奖励模型之外实现更紧凑且精确的策略推理。通过基于空间和时间上下文对示范进行聚类，该方法在子目标定位和策略平滑估计方面表现更优，尤其在意图变化或轨迹复杂的情境下优于基线IRL方法，并可通过不确定性感知的预测支持主动学习。

ABSTRACT

Advances in the field of inverse reinforcement learning (IRL) have led to sophisticated inference frameworks that relax the original modeling assumption of observing an agent behavior that reflects only a single intention. Instead of learning a global behavioral model, recent IRL methods divide the demonstration data into parts, to account for the fact that different trajectories may correspond to different intentions, e.g., because they were generated by different domain experts. In this work, we go one step further: using the intuitive concept of subgoals, we build upon the premise that even a single trajectory can be explained more efficiently locally within a certain context than globally, enabling a more compact representation of the observed behavior. Based on this assumption, we build an implicit intentional model of the agent's goals to forecast its behavior in unobserved situations. The result is an integrated Bayesian prediction framework that significantly outperforms existing IRL solutions and provides smooth policy estimates consistent with the expert's plan. Most notably, our framework naturally handles situations where the intentions of the agent change over time and classical IRL algorithms fail. In addition, due to its probabilistic nature, the model can be straightforwardly applied in active learning scenarios to guide the demonstration process of the expert.

研究动机与目标

• 解决逆强化学习中全局奖励模型的局限性，后者无法捕捉专家示范中的局部行为结构。
• 通过将轨迹分解为上下文相关的子目标，更高效地建模专家行为，减少奖励函数设计中的冗余。
• 开发一种概率性、上下文感知的框架，以泛化于多样化的专家行为，包括意图随时间变化的行为。
• 通过后验预测分布提供动作预测的不确定性估计，实现主动学习。
• 通过从最少的示范数据中学习紧凑且可解释的子目标表征，提升数据效率。

提出的方法

• 提出一种非参数贝叶斯模型，基于空间和时间上下文对示范轨迹进行聚类，以推断子目标结构。
• 通过将协变量信息（状态和时间）纳入聚类与似然建模过程，扩展贝叶斯非参数IRL（BNIRL）。
• 使用Gibbs采样在统一的概率图模型中联合推断子目标位置、每段轨迹的子目标分配以及奖励函数。
• 采用似然模型评估候选奖励函数在给定子目标结构下解释观测状态-动作序列的能力。
• 将建模分为两种架构：一种用于静态空间子目标，另一种用于时变子目标，以灵活表征循环或序列行为。
• 利用子目标和奖励的后部分布生成预测动作分布，实现不确定性感知的主动学习。

实验结果

研究问题

• RQ1 与全局奖励模型相比，基于子目标的建模是否能提升逆强化学习的准确性和紧凑性？
• RQ2 如何有效利用时空上下文对轨迹进行聚类并推断局部行为意图？
• RQ3 该框架能否处理意图随时间变化的专家行为，如循环或重复模式？
• RQ4 通过利用上下文感知的子目标推断，该方法在多大程度上减少了所需专家示范的数量？
• RQ5 子目标和策略估计的后验不确定性是否可有效用于指导主动示范收集？

主要发现

• 通过在聚类和似然模型中引入时空上下文，所提框架在子目标定位准确性上显著优于基线BNIRL。
• 该方法在复杂场景（如循环或重叠轨迹）中实现了更平滑的动作预测，且与专家计划保持一致，表现出更优的策略估计性能。
• 在循环、蛇形和花朵图案等基准任务中，该框架能准确恢复全局奖励模型所遗漏的子目标结构。
• 对动作的后验预测分布提供了可靠的不确定性估计，从而可通过识别信息量丰富的示范查询，实现有效的主动学习。
• 该模型在未见情境下泛化能力良好，能处理随时间变化的意图，而经典IRL方法因全局奖励假设的刚性而失效。