[论文解读] Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions

Shayegan Omidshafiei, Ali‐akbar Agha‐mohammadi+2 more|arXiv (Cornell University)|Feb 20, 2015

Bayesian Modeling and Causal Inference被引用 11

一句话总结

本文提出了一种去中心化的部分可观察半马尔可夫决策过程（Dec-POSMDP）框架，通过使用闭环信念空间宏动作（MAs），在不确定性环境下实现了可扩展的异步多机器人规划。该方法通过基于图的规划自动生成鲁棒且时序扩展的宏动作，并采用一种新颖的蒙特卡洛搜索算法（MMCS），在复杂包裹递送任务中实现的期望策略价值比标准蒙特卡洛搜索高出118%，从而为大规模问题提供了高质量解。

ABSTRACT

The focus of this paper is on solving multi-robot planning problems in continuous spaces with partial observability. Decentralized partially observable Markov decision processes (Dec-POMDPs) are general models for multi-robot coordination problems, but representing and solving Dec-POMDPs is often intractable for large problems. To allow for a high-level representation that is natural for multi-robot problems and scalable to large discrete and continuous problems, this paper extends the Dec-POMDP model to the decentralized partially observable semi-Markov decision process (Dec-POSMDP). The Dec-POSMDP formulation allows asynchronous decision-making by the robots, which is crucial in multi-robot domains. We also present an algorithm for solving this Dec-POSMDP which is much more scalable than previous methods since it can incorporate closed-loop belief space macro-actions in planning. These macro-actions are automatically constructed to produce robust solutions. The proposed method's performance is evaluated on a complex multi-robot package delivery problem under uncertainty, showing that our approach can naturally represent multi-robot problems and provide high-quality solutions for large-scale problems.

研究动机与目标

• 解决在连续、部分可观察领域中，具有异步决策的大型Dec-POMDP求解的不可行性问题。
• 通过时序扩展动作（宏动作）实现多机器人协调问题的可扩展高层次表示。
• 设计一个正式框架——Dec-POSMDP——支持异步、可变时长的宏动作，并对完成时间与成功概率进行解析表征。
• 设计一种高效搜索算法（MMCS），利用宏动作特性，在计算约束下有效探索策略空间。
• 在复杂、现实的多机器人包裹递送问题中，验证该框架在不确定性下的有效性。

提出的方法

• 将Dec-POMDP扩展为Dec-POSMDP，以在部分可观察、连续状态领域中建模异步决策与可变时长效用的宏动作。
• 通过基于图的规划自动生成闭环信念空间宏动作（MAs），其中每个LMA（本地宏动作）作为反馈控制器，将信念引导至终止信念状态。
• 对关键宏动作属性——完成时间与成功概率——进行解析表征，以支持其在Dec-POSMDP框架中的集成。
• 采用一种新颖的蒙特卡洛搜索算法（MMCS），利用对有前景策略的先验知识，提升策略空间中的探索与利用效率。
• 在LMA图上使用动态规划，为每个宏动作合成最优策略，确保对传感器噪声与不确定性的鲁棒性。
• 将该框架应用于具有二维连续状态空间与随机观测的多机器人包裹递送领域，通过仿真验证性能。

实验结果

研究问题

• RQ1 能否在具有异步决策的去中心化、部分可观察、连续状态领域中有效扩展宏动作？
• RQ2 如何对可变时长效用、闭环宏动作的形式化表征，以完成时间与成功概率用于规划？
• RQ3 能否设计一种可扩展的搜索算法，以高效探索Dec-POSMDP的高维策略空间？
• RQ4 与基于原始动作的Dec-POMDP相比，使用信念空间宏动作是否显著提升了解决方案质量与可扩展性？
• RQ5 该框架能否在不确定性下为复杂多机器人任务生成高质量、鲁棒的控制器？

主要发现

• 在包裹递送领域中，经过1000次迭代后，MMCS算法实现的期望策略价值比标准蒙特卡洛搜索高出118%。
• 经过1000次搜索迭代后，MMCS策略在某些仿真中可递送最多9个包裹，而蒙特卡洛策略在递送超过2个包裹时几乎无成功案例。
• 在固定时间范围内成功递送至少3个包裹的概率，MMCS策略显著高于蒙特卡洛策略。
• 每个宏动作的价值函数、成功概率与完成时间均在完整信念空间中实现了解析表征，从而实现了与规划的鲁棒集成。
• 所提出的Dec-POSMDP框架能够可扩展地求解传统Dec-POMDP方法难以处理的大规模、连续状态、部分可观察多机器人问题。
• 该框架通过建模具有可变时长与概率终止的宏动作，支持异步决策，从而实现了在真实机器人系统中的实际部署。