[论文解读] pomdp_py: A Framework to Build and Solve POMDP Problems

Kaiyu Zheng, Stefanie Tellex|arXiv (Cornell University)|Apr 21, 2020

Robotic Path Planning Algorithms参考文献 19被引用 13

一句话总结

本文介绍了 pomdp_py，一个基于 Python 和 Cython 的框架，可简化部分可观察马尔可夫决策过程（POMDP）问题的开发与求解。该框架提供了直观的面向对象接口用于建模 POMDP，并原生集成 ROS，支持在真实场景中部署——通过一个配备躯干执行器的机器人成功实现 3D 物体搜索任务，使用 PO-UCT 规划算法在 3 秒规划预算内完成。

ABSTRACT

In this paper, we present pomdp_py, a general purpose Partially Observable Markov Decision Process (POMDP) library written in Python and Cython. Existing POMDP libraries often hinder accessibility and efficient prototyping due to the underlying programming language or interfaces, and require extra complexity in software toolchain to integrate with robotics systems. pomdp_py features simple and comprehensive interfaces capable of describing large discrete or continuous (PO)MDP problems. Here, we summarize the design principles and describe in detail the programming model and interfaces in pomdp_py. We also describe intuitive integration of this library with ROS (Robot Operating System), which enabled our torso-actuated robot to perform object search in 3D. Finally, we note directions to improve and extend this library for POMDP planning and beyond.

研究动机与目标

• 解决缺乏适用于复杂真实机器人应用的可访问、高性能 POMDP 库的问题。
• 通过提供基于 Python 的简单、可扩展接口及 Cython 优化性能，降低 POMDP 原型开发的门槛。
• 通过与 ROS 的无缝集成，实现实时机器人控制与传感器反馈，支持基于 POMDP 的决策制定。
• 支持离散与连续状态/动作空间，包括因子化 POMDP 和面向对象 POMDP（OO-POMDP）。
• 通过提供模块化、可重用的代码结构及可扩展的求解器接口，推动社区驱动的开发。

提出的方法

• 该框架采用模块化面向对象设计，为状态、动作、观测以及模型（转移、观测、奖励、策略）分别定义独立类。
• 基于贝叶斯规则实现核心 POMDP 组件的信念更新机制，支持表格化与基于粒子的信念表示。
• 库中内置了 POMCP 和 PO-UCT 等求解器，并提供通用的 Planner 接口，用于集成新型任意时间算法。
• 通过将状态空间与观测空间分解为具有属性的对象，支持面向对象 POMDP（OO-POMDP），实现线性规模的信念表示，避免指数级增长。
• 通过 rospy 实现与 ROS 的集成，支持 POMDP 控制节点与机器人控制节点之间的消息传递，实现实时动作执行与观测采集。
• 提供推荐的包结构，以促进代码组织、可重用性以及跨领域的社区共享。

实验结果

研究问题

• RQ1 是否可以设计一个既对研究人员友好又具备足够性能以支持真实机器人应用的 POMDP 库？
• RQ2 如何利用 Python 等高级语言有效建模并求解具有连续或高维状态空间的 POMDP？
• RQ3 在使用标准机器人中间件（如 ROS）时，POMDP 规划在多大程度上能高效集成到实时机器人系统中？
• RQ4 是否能通过模块化、可扩展的框架有效建模并扩展面向对象 POMDP？
• RQ5 如何设计 POMDP 框架以支持社区贡献，并与现有求解器和工具无缝集成？

主要发现

• pomdp_py 框架成功支持了复杂 POMDP 问题的实现，包括具有连续状态与观测空间的 3D 物体搜索。
• 通过 ROS 控制的躯干执行器机器人在模拟 3D 环境中执行了 PO-UCT 规划的动作，每个规划步骤均在 3 秒预算内完成。
• 与 ROS 的集成简单而高效，通过 rospy 消息传递实现了实时动作执行与观测采集。
• 该框架支持离散与连续领域，包括光照-黑暗领域和具有扇形传感器的多目标搜索，展现出广泛的适用性。
• 面向对象 POMDP（OO-POMDP）接口通过将状态与观测空间分解为具有属性的对象，实现可扩展的信念表示，避免了指数级增长。
• 该库的模块化设计与清晰的代码结构促进了代码复用与社区贡献，其在多个示例领域中的应用及活跃开发已充分证明这一点。