[论文解读] Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning

Himanshu Gupta, Bradley Hayes+1 more|arXiv (Cornell University)|Jun 20, 2022

Evacuation and Crowd Dynamics被引用 6

一句话总结

本文提出了一种扩展状态空间的局部可观察马尔可夫决策过程（POMDP）规划器，通过使用多查询运动规划（如PRM、Fast Marching）作为滚动策略，同时控制速度与航向，实现对人群环境中自主导航的高效探索。该方法在长规划时域的密集行人环境中，显著提升了轨迹的安全性与效率，优于以往方法。

ABSTRACT

This paper presents a hybrid online Partially Observable Markov Decision Process (POMDP) planning system that addresses the problem of autonomous navigation in the presence of multi-modal uncertainty introduced by other agents in the environment. As a particular example, we consider the problem of autonomous navigation in dense crowds of pedestrians and among obstacles. Popular approaches to this problem first generate a path using a complete planner (e.g., Hybrid A*) with ad-hoc assumptions about uncertainty, then use online tree-based POMDP solvers to reason about uncertainty with control over a limited aspect of the problem (i.e. speed along the path). We present a more capable and responsive real-time approach enabling the POMDP planner to control more degrees of freedom (e.g., both speed AND heading) to achieve more flexible and efficient solutions. This modification greatly extends the region of the state space that the POMDP planner must reason over, significantly increasing the importance of finding effective roll-out policies within the limited computational budget that real time control affords. Our key insight is to use multi-query motion planning techniques (e.g., Probabilistic Roadmaps or Fast Marching Method) as priors for rapidly generating efficient roll-out policies for every state that the POMDP planning tree might reach during its limited horizon search. Our proposed approach generates trajectories that are safe and significantly more efficient than the previous approach, even in densely crowded dynamic environments with long planning horizons.

研究动机与目标

• 解决以往基于POMDP的导航系统仅限制于沿预计算路径控制速度的局限性。
• 实现在动态、不确定环境（如密集行人）中的实时、意图感知导航。
• 将POMDP的动作空间扩展为同时包含速度与航向，提升规划灵活性与解的质量。
• 在严格计算约束下，为扩展的状态与动作空间开发高效的滚动策略。
• 在包含全向与非全向车辆的复杂高密度场景中评估该方法。

提出的方法

• 系统采用在线扩展动作空间的POMDP规划器，允许同时控制速度与航向，而非仅沿固定路径控制速度。
• 采用基于稀疏树的POMDP求解器（如DESPOT），通过滚动策略的价值估计引导在线树搜索。
• 使用多查询运动规划技术——概率路网（PRM）与快速行进法（Fast Marching）——为规划树中的每个状态生成高效、有效的滚动策略。
• 滚动策略在环境中预先计算，并在有限时域的树搜索中用于估计未来奖励，从而实现对更大可达状态空间的探索。
• 规划器整合了对行人的意图感知建模，将行人的行为视为部分可观测且多模态，以提高预测准确性。
• 对于非全向车辆（如Dubin小车），通过在Fast Marching Square方法生成的路径上应用反应式控制器，对滚动策略进行适配，以避免碰撞。

实验结果

研究问题

• RQ1 将POMDP动作空间扩展为同时包含速度与航向，是否能提升在密集环境中的导航效率与安全性？
• RQ2 多查询运动规划技术（如PRM、Fast Marching）作为滚动策略，在实时POMDP规划中是否能有效实现对大规模扩展状态空间的高效探索？
• RQ3 在高密度行人场景中，所提方法是否优于将航向与速度控制解耦的基线方法？
• RQ4 扩展状态空间POMDP规划器的性能在行人密度与规划时域增加时如何变化？
• RQ5 运动规划技术的选择（PRM与Fast Marching）在多大程度上影响最终轨迹质量与计算效率？

主要发现

• 在所有行人密度下，扩展状态空间POMDP规划器（ES）的旅行时间显著低于基线LS规划器，尤其在高速（如4 m/s）时表现更优，成功率达95%以上。
• 在高密度环境中，由于航向选择从8种增至36种，ES规划器相比LS规划器减少了36%的停顿等待（SB）动作。
• 即使在具有复杂行人动力学的长时域场景中，ES规划器仍生成了更安全、更高效的轨迹。
• 滚动策略选择（PRM与Fast Marching）对性能影响极小，表明对底层运动规划技术具有鲁棒性。
• 对于非全向车辆，尽管航向选择较少（19 vs. 36），ES规划器仍通过整合控制速度与航向，显著降低了旅行时间与SB动作。
• 结果表明，基于多查询运动规划生成的有效滚动策略，是实现在高维动作空间中可扩展、实时POMDP规划的关键。