[论文解读] Distributed Planning in Hierarchical Factored MDPs

Carlos Guestrin, Geoffrey J. Gordon|arXiv (Cornell University)|Dec 12, 2012

Reinforcement Learning in Robotics参考文献 23被引用 57

一句话总结

本文提出了一种用于分层因子马尔可夫决策过程（MDPs）的分布式规划算法，使多智能体系统能够通过局部计算协作求解大规模规划问题。通过以分层方式组织智能体的子系统，并在局部线性规划上进行消息传递，该方法在无需集中协调的情况下实现全局一致性，当子系统具有结构相似性时，显著提升了可扩展性和可重用性。

ABSTRACT

We present a principled and efficient planning algorithm for collaborative multiagent dynamical systems. All computation, during both the planning and the execution phases, is distributed among the agents; each agent only needs to model and plan for a small part of the system. Each of these local subsystems is small, but once they are combined they can represent an exponentially larger problem. The subsystems are connected through a subsystem hierarchy. Coordination and communication between the agents is not imposed, but derived directly from the structure of this hierarchy. A globally consistent plan is achieved by a message passing algorithm, where messages correspond to natural local reward functions and are computed by local linear programs; another message passing algorithm allows us to execute the resulting policy. When two portions of the hierarchy share the same structure, our algorithm can reuse plans and messages to speed up computation.

研究动机与目标

• 解决具有复杂状态空间的大规模多智能体系统中的可扩展规划挑战。
• 实现分布式计算，使每个智能体仅为其本地子系统进行规划，从而减轻计算负担。
• 在无需集中协调或显式通信协议的情况下实现规划的全局一致性。
• 利用分层结构，使计划和消息可在结构相似的子系统间重用，提升效率。
• 通过第二种消息传递机制支持生成策略的执行，确保运行时的一致性。

提出的方法

• 将多智能体系统建模为分层因子MDP，将全局问题分解为更小、更易管理的本地子系统。
• 使用局部线性规划计算表示自然本地奖励函数的消息，实现最优策略的分布式计算。
• 在层次结构上应用消息传递算法，协调各智能体的计划，确保全局一致性。
• 从分层结构中隐式推导出协调与通信机制，避免强加的协调规则。
• 当遇到相同或相似的子系统结构时，重用先前计算得到的计划和消息，加速计算过程。
• 通过第二轮消息传递阶段执行最终策略，以一致的方式在层次结构中传播动作决策。

实验结果

研究问题

• RQ1 如何通过分布式计算高效求解大规模多智能体规划问题？
• RQ2 是否可以在无需集中协调或显式通信协议的情况下实现规划的全局一致性？
• RQ3 在子系统之间结构相似性方面，可以多大程度上被利用以提升计算效率？
• RQ4 如何协调分层因子MDP中的局部规划，以生成全局最优或近似最优策略？
• RQ5 哪些机制能够实现规划与执行的完全分布式化，同时保持智能体间的一致性？

主要发现

• 该算法通过在分层结构上进行消息传递实现规划的全局一致性，而无需集中协调。
• 通过线性规划实现的局部计算可实现高效且可扩展的规划，即使在状态空间呈指数级增长的系统中亦然。
• 当子系统具有相同结构形式时，该算法重用先前计算得到的消息和计划，显著减少冗余计算。
• 该方法在完全去中心化的方式下支持规划与执行，消息编码了自然的本地奖励函数。
• 该方法在分层因子MDP的理论框架下具有坚实基础，并在多智能体系统中展现出实际可扩展性。
• 该算法适用于传感器网络和机器人团队等现实世界问题，其中去中心化和可扩展性至关重要。