[论文解读] Policy Synthesis for Factored MDPs with Graph Temporal Logic Specifications

Murat Cubuktepe, Zhe Xu+1 more|arXiv (Cornell University)|Jan 24, 2020

Formal Methods in Verification参考文献 33被引用 6

一句话总结

本文提出了一种基于图时序逻辑（GTL）的分布式策略合成方法，用于在因子马尔可夫决策过程（MDPs）中指定多智能体系统的时空任务。通过将合成问题分解为仅依赖于本地邻域的智能体特定子问题，该方法在智能体数量上实现线性运行时间扩展，在邻居数量上仅实现指数级扩展，从而实现了对数百个智能体的高效、可扩展策略合成，适用于疾病控制和城市安全等应用。

ABSTRACT

We study the synthesis of policies for multi-agent systems to implement spatial-temporal tasks. We formalize the problem as a factored Markov decision process subject to so-called graph temporal logic specifications. The transition function and the spatial-temporal task of each agent depend on the agent itself and its neighboring agents. The structure in the model and the specifications enable to develop a distributed algorithm that, given a factored Markov decision process and a graph temporal logic formula, decomposes the synthesis problem into a set of smaller synthesis problems, one for each agent. We prove that the algorithm runs in time linear in the total number of agents. The size of the synthesis problem for each agent is exponential only in the number of neighboring agents, which is typically much smaller than the number of agents. We demonstrate the algorithm in case studies on disease control and urban security. The numerical examples show that the algorithm can scale to hundreds of agents.

研究动机与目标

• 为解决具有复杂时空任务的多智能体系统在可扩展性方面的策略合成挑战。
• 使用图时序逻辑（GTL）形式化时空协调需求，GTL将线性时序逻辑扩展以在图上建模智能体交互。
• 开发一种分布式算法，将全局策略合成问题分解为每个智能体的本地子问题，从而降低计算复杂度。
• 通过利用稀疏的智能体交互和局部依赖关系，确保方法能高效扩展至大规模系统。
• 在真实案例研究（如疾病控制和城市安全）中展示该方法，并验证任务满足性。

提出的方法

• 本文将多智能体系统建模为因子MDP，其中每个智能体的转移和奖励函数取决于其自身状态及其在图中的邻居状态。
• 引入图时序逻辑（GTL）作为规格说明语言，用于表达涉及多个智能体的时空任务，例如“一个关键交叉口必须每隔三个时间步由某个智能体或其邻居访问”。
• 将集中式策略合成算法表述为线性规划（LP），基于智能体及其邻居的状态计算策略，确保满足GTL规格说明。
• 将集中式LP扩展为分布式算法，通过在图上迭代传递消息，在每个智能体上并行求解本地合成问题。
• 通过共享GTL自动机状态和本地约束传播，确保各智能体策略之间的一致性，从而保证算法正确性。
• 该算法的运行时间在智能体总数上为线性，在每个智能体的邻居数量上为指数级，从而实现可扩展性。

实验结果

研究问题

• RQ1 多智能体系统中的时空协调任务能否通过一种能捕捉时间与空间依赖关系的规格说明语言有效形式化？
• RQ2 如何在保持正确性和任务满足性的前提下，使大规模多智能体系统的策略合成具有可扩展性？
• RQ3 在不牺牲全局任务合规性的前提下，合成问题在多大程度上可以分解为每个智能体的本地子问题？
• RQ4 所提出的分布式算法的计算复杂度在智能体数量和邻域大小方面如何？
• RQ5 在城市安全和疾病控制等真实应用中，该方法的性能如何，特别是在奖励最大化与任务强制执行的混合目标下？

主要发现

• 分布式算法在智能体数量上实现线性扩展，使数百个智能体的系统能够高效进行策略合成。
• 每个智能体的合成问题的计算复杂度仅随邻居数量呈指数级增长，而非总智能体数量，而邻居数量通常较小。
• 在15名警察的城市安全案例研究中，该方法在最大化犯罪率期望奖励的同时，满足了GTL规格说明φ（每三个时间步监控一次关键交叉口）。
• 该算法在3×3网格共15名警察的场景中耗时164.3秒内完成，结果表明关键交叉口得到了足够频率的监控，且高犯罪区域得到了优先关注。
• 集中式方法在超过约400个智能体后变得不可行，而分布式方法在实验中扩展至1000块农田时仍保持线性运行时间扩展。
• 该方法成功平衡了竞争目标：在最大化高犯罪区域奖励的同时，通过GTL约束强制执行关键交叉口的监控。