[论文解读] Finite-Sample Analyses for Fully Decentralized Multi-Agent Reinforcement Learning.

Kaiqing Zhang, Zhuoran Yang+3 more|arXiv (Cornell University)|Dec 6, 2018

Game Theory and Applications被引用 20

一句话总结

本文首次对完全去中心化的多智能体强化学习（MARL）进行了有限样本分析，提出了一类适用于时变网络中合作或零和博弈场景的智能体团队的批量MARL算法。该研究量化了动作价值函数估计中的统计误差，识别出由去中心化计算引入的额外误差项，并阐明了函数类、每轮迭代的样本量及迭代次数对学习精度的影响。

ABSTRACT

Despite the increasing interest in multi-agent reinforcement learning (MARL) in the community, understanding its theoretical foundation has long been recognized as a challenging problem. In this work, we make an attempt towards addressing this problem, by providing finite-sample analyses for fully decentralized MARL. Specifically, we consider two fully decentralized MARL settings, where teams of agents are connected by time-varying communication networks, and either collaborate or compete in a zero-sum game, without the absence of any central controller. These settings cover many conventional MARL settings in the literature. For both settings, we develop batch MARL algorithms that can be implemented in a fully decentralized fashion, and quantify the finite-sample errors of the estimated action-value functions. Our error analyses characterize how the function class, the number of samples within each iteration, and the number of iterations determine the statistical accuracy of the proposed algorithms. Our results, compared to the finite-sample bounds for single-agent RL, identify the involvement of additional error terms caused by decentralized computation, which is inherent in our decentralized MARL setting. To our knowledge, our work appears to be the first finite-sample analyses for MARL, which sheds light on understanding both the sample and computational efficiency of MARL algorithms.

研究动机与目标

• 解决完全去中心化多智能体强化学习（MARL）中理论基础的缺失问题。
• 分析无中心控制器的去中心化MARL设置中动作价值函数估计的统计精度。
• 量化函数类、每轮迭代样本数及迭代次数对去中心化MARL学习精度的影响。
• 识别并表征由去中心化计算引入的误差项，这些误差项在单智能体RL中并不存在。
• 为具有时变通信网络的合作与零和竞争设置下的MARL提供有限样本界。

提出的方法

• 提出适用于无中心控制器的完全去中心化实现的批量MARL算法。
• 建模通过时变通信网络连接的智能体团队，支持合作与零和竞争两种设置。
• 采用函数逼近来估计动作价值函数，误差分析基于函数类的选择。
• 通过将有限样本误差分解为近似误差、估计误差及由去中心化计算引起的分量，分析有限样本误差。
• 采用基于本地数据与邻居通信的迭代更新机制，实现去中心化学习，同时跟踪误差随时间的累积。
• 推导出明确显示网络动态与去中心化协调对统计精度影响的有限样本界。

实验结果

研究问题

• RQ1 与集中式或单智能体设置相比，去中心化计算如何影响多智能体价值函数估计中的统计误差？
• RQ2 完全去中心化的MARL算法在合作与竞争设置下的有限样本收敛行为如何？
• RQ3 函数类的大小、每轮迭代的样本数及迭代次数如何共同影响所学习价值函数的精度？
• RQ4 由于通信约束与时变网络，去中心化MARL中会涌现出哪些额外的误差项？
• RQ5 能否为无中心控制器的MARL推导出有限样本界？其与单智能体RL的界有何不同？

主要发现

• 本文识别出在MARL中由去中心化计算引入的额外误差项，这些误差项在单智能体强化学习中并不存在。
• 推导出明确依赖于函数类复杂度、每轮迭代样本数及迭代次数的有限样本误差界。
• 误差界表明，由于通信与协调约束，去中心化MARL的统计误差高于单智能体RL。
• 所提出的批量MARL算法在时变通信网络下，于合作与零和竞争设置中均实现了可证明的统计精度。
• 分析表明，价值函数估计的收敛速率受网络连通性及通信图的混合特性的影响。
• 本工作首次为完全去中心化的MARL提供了有限样本分析，建立了理解样本效率与计算效率的理论基础。