[论文解读] Locally Interdependent Multi-Agent MDP: Theoretical Framework for Decentralized Agents with Dynamic Dependencies

Alex DeWeese, Guannan Qu|arXiv (Cornell University)|Jun 10, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

本文提出了局部依赖多智能体MDP（Locally Interdependent Multi-Agent MDP）理论框架，用于建模具有动态、基于邻近性的依赖关系的去中心化多智能体系统。该框架提出三种闭式解策略——Amalgam、Cutoff 和 First Step Finite Horizon Optimal，实现近似最优性能，且在可见半径增大时，部分可观测去中心化解与完全可观测最优解之间的差距呈指数级缩小。

ABSTRACT

Many multi-agent systems in practice are decentralized and have dynamically varying dependencies. There has been a lack of attempts in the literature to analyze these systems theoretically. In this paper, we propose and theoretically analyze a decentralized model with dynamically varying dependencies called the Locally Interdependent Multi-Agent MDP. This model can represent problems in many disparate domains such as cooperative navigation, obstacle avoidance, and formation control. Despite the intractability that general partially observable multi-agent systems suffer from, we propose three closed-form policies that are theoretically near-optimal in this setting and can be scalable to compute and store. Consequentially, we reveal a fundamental property of Locally Interdependent Multi-Agent MDP's that the partially observable decentralized solution is exponentially close to the fully observable solution with respect to the visibility radius. We then discuss extensions of our closed-form policies to further improve tractability. We conclude by providing simulations to investigate some long horizon behaviors of our closed-form policies.

研究动机与目标

• 填补去中心化多智能体系统中动态变化依赖关系的理论分析空白。
• 利用基于度量空间的MDP建模现实应用场景，如协同导航、避障和编队控制，其中依赖关系和通信图随时间动态变化。
• 为部分可观测去中心化设置设计理论基础坚实且可扩展的策略，其中智能体具有有限的可见范围和交互范围。
• 建立一个基本理论性质：去中心化策略与完全可观测最优策略之间的性能差距随可见半径增加而呈指数衰减。
• 提供一种可证明近乎最优的闭式解框架，兼具计算可处理性与实际可实施性。

提出的方法

• 提出局部依赖多智能体MDP模型，其中智能体仅在半径 $\mathcal{R}$ 内相互作用，并在可见半径 $\mathcal{V}$ 内通信，二者均随时间动态变化。
• 定义三种闭式解策略：Amalgam、Cutoff 和 First Step Finite Horizon Optimal，每种策略均针对部分可观测环境下的期望累积奖励最大化而设计。
• 利用伸缩引理（telescoping lemma）和奖励调整技术，界定所提策略与最优集中式策略之间的性能差距。
• 构建一个带碰撞惩罚的确定性下界MDP，证明任何去中心化策略都无法优于所推导上界超过一个常数因子。
• 应用动态规划与值函数分解技术，推导在部分可观测条件下的理论性能保证。
• 通过策略改进扩展框架，提升可扩展性，并通过障碍物避让、导航和编队控制等仿真实验验证长时域行为。

Figure 1: 3 agents moving in the space of $\mathcal{X}=\mathbb{R}^{2}$ with standard Euclidean distance. The bottom two agents potentially have an interdependent reward since they are within distance $\mathcal{R}$ of one another. Furthermore, every agent is within distance $\mathcal{V}$ of another a

实验结果

研究问题

• RQ1 我们能否在理论上建模具有动态变化局部依赖关系和部分可观测性的去中心化多智能体系统？
• RQ2 是否存在闭式解、可扩展的策略，可在此类去中心化、部分可观测环境中实现近似最优性能？
• RQ3 可见半径如何影响去中心化策略与完全可观测最优策略之间的性能差距？
• RQ4 我们能否建立既紧致又计算可处理的理论性能边界，用于去中心化多智能体决策？
• RQ5 所提出的策略在实际多智能体任务（如导航和编队控制）的长时域行为中表现如何？

主要发现

• Amalgam、Cutoff 和 First Step Finite Horizon Optimal 策略在理论上保证的性能，与最优集中式解处于同一常数因子范围内。
• 去中心化策略的性能与完全可观测最优策略之间的差距被界定为 $\frac{2}{1-\gamma}\gamma^{c+1}\tilde{r}$，其中 $c = \lfloor(\mathcal{V} - \mathcal{R})/2\rfloor$，且该差距随可见半径 $\mathcal{V}$ 呈指数衰减。
• 通过下界构造证明，任何去中心化策略都无法优于所推导上界超过一个常数因子，从而验证了策略的近似最优性。
• 可见半径 $\mathcal{V}$ 控制性能差距的指数衰减：可见半径越大，去中心化性能显著提升。
• 在障碍物避让、协同导航和编队控制中的仿真结果表明，系统表现出稳定且与理论预期一致的长时域行为。
• 对策略的扩展改进了可扩展性，同时不牺牲理论性能保证，使复杂系统中的实际部署成为可能。

Figure 2: Bullseye Problem: In red is the optimal policy with a discounted sum of rewards of $8.85$ . The top three in blue are Amalgam Policy rollouts with $\mathcal{V}=25$ , $\mathcal{\mathcal{missing}}V=35$ , $\mathcal{V}=45$ top to bottom. They have a total discounted reward of $6.74$ , $8.26$ ,