[论文解读] Multi-Agent Reinforcement Learning in Stochastic Networked Systems

Yiheng Lin, Guannan Qu+2 more|arXiv (Cornell University)|Jun 11, 2020

Age of Information Optimization被引用 8

一句话总结

该论文提出了一种可扩展的演员-评论家（SAC）框架，用于在随机、非局部的网络化系统中的多智能体强化学习，其中智能体之间的依赖关系是随机且时变的。通过引入广义的 $μ$-衰减特性来建模信息传播，该方法实现了具有有限时间收敛保证的可扩展学习，这是首个针对随机、非局部多智能体强化学习（MARL）设置的此类结果。

ABSTRACT

We study multi-agent reinforcement learning (MARL) in a stochastic network of agents. The objective is to find localized policies that maximize the (discounted) global reward. In general, scalability is a challenge in this setting because the size of the global state/action space can be exponential in the number of agents. Scalable algorithms are only known in cases where dependencies are static, fixed and local, e.g., between neighbors in a fixed, time-invariant underlying graph. In this work, we propose a Scalable Actor Critic framework that applies in settings where the dependencies can be non-local and stochastic, and provide a finite-time error bound that shows how the convergence rate depends on the speed of information spread in the network. Additionally, as a byproduct of our analysis, we obtain novel finite-time convergence results for a general stochastic approximation scheme and for temporal difference learning with state aggregation, which apply beyond the setting of MARL in networked systems.

研究动机与目标

• 解决在依赖关系为随机且非局部的多智能体强化学习（MARL）中的可扩展性挑战，这类依赖关系在无线网络和交通系统等现实系统中普遍存在。
• 克服先前方法依赖于静态、局部依赖关系（如仅与邻居交互）和指数衰减假设的局限性。
• 开发一种在一般随机、非局部依赖结构下具有可证明可扩展性的MARL算法，而无需依赖固定或时不变的交互图。
• 建立有限时间误差界，量化收敛速度如何依赖于网络中信息传播的速率。
• 通过推导一般随机逼近和带状态聚合的时序差分学习的有限时间收敛结果，提供更广泛的理论贡献，其适用范围不仅限于MARL。

提出的方法

• 提出一类新的依赖结构，其中每个智能体依赖于其他智能体的随机子集，从而推广了静态局部依赖关系。
• 引入 $μ$-衰减特性（定义2.1），该特性推广了指数衰减，能够捕捉在随机网络中影响力随距离衰减的机制。
• 设计可扩展的演员-评论家（SAC）算法，利用局部邻域信息进行状态聚合，从而实现分布式且可扩展的学习。
• 应用一种广义随机逼近方案的有限时间分析，该方案具备无穷范数收缩和状态聚合特性（定理3.1），为算法的收敛性保证提供了理论基础。
• 通过映射 $h$ 实现状态聚合，将全局状态/动作映射为局部元状态，从而在保持策略质量的同时减小有效状态空间。
• 证明聚合后的MDP值函数在有界误差范围内近似真实全局Q值函数，该证明基于 $μ$-衰减特性和有界Q值变化（假设D.6）。

实验结果

研究问题

• RQ1 在依赖关系为随机且非局部的设置中，是否能够实现可扩展的MARL，其中智能体交互关系并非固定或局部？
• RQ2 网络中信息传播速率如何影响MARL算法的收敛速度？
• RQ3 指数衰减特性能否被推广以处理随机、非局部依赖关系，且这种推广是否能实现可扩展学习？
• RQ4 在非独立同分布（non-i.i.d.）设置下，带状态聚合的随机逼近方案能够建立怎样的有限时间收敛保证？
• RQ5 与现有MARL算法相比，该方法在非局部、随机网络中是否展现出更高的样本效率和可扩展性？

主要发现

• 所提出的可扩展演员-评论家（SAC）算法在随机、非局部网络化MARL设置中实现了可证明的近似最优局部策略，这是首个此类结果。
• 有限时间误差界表明，当更深层次（非局部）交互更频繁时，收敛速度会下降，原因在于信息传播加快导致有效状态空间复杂度增加。
• 该分析为具备无穷范数收缩和状态聚合的一般随机逼近方案建立了有限时间收敛界，这是新颖的理论贡献。
• 该方法为带状态聚合的时序差分（TD）学习提供了有限时间界，其适用范围超越MARL，扩展至强化学习中的一般函数逼近。
• 聚合Q值函数与真实全局Q值函数之间的误差被限定在 $\frac{2\epsilon_{Q^*}}{1-\gamma}$ 以内，其中 $\epsilon_{Q^*}$ 反映了在聚合状态之间最优Q值的变化程度。
• 理论框架表明，在 $μ$-衰减特性下可实现可扩展性，该特性推广了先前工作中使用的指数衰减，适用于随机、非局部依赖关系。