[论文解读] Finite-Sample Analysis For Decentralized Batch Multi-Agent Reinforcement Learning With Networked Agents

Kaiqing Zhang, Zhuoran Yang+3 more|arXiv (Cornell University)|Dec 6, 2018

Distributed Control Multi-Agent Systems参考文献 69被引用 4

一句话总结

本论文首次对具有时变通信网络的去中心化批量多智能体强化学习（MARL）在合作与竞争设置下的有限样本性能进行了分析。提出了基于分布式优化（如DIGing）的去中心化拟合Q-迭代算法，并建立了误差界，量化了函数类、样本数量和计算迭代次数对统计精度的影响，同时引入了由去中心化计算带来的额外误差项。

ABSTRACT

Despite the increasing interest in multi-agent reinforcement learning (MARL) in multiple communities, understanding its theoretical foundation has long been recognized as a challenging problem. In this work, we address this problem by providing a finite-sample analysis for decentralized batch MARL with networked agents. Specifically, we consider two decentralized MARL settings, where teams of agents are connected by time-varying communication networks, and either collaborate or compete in a zero-sum game setting, without any central controller. These settings cover many conventional MARL settings in the literature. For both settings, we develop batch MARL algorithms that can be implemented in a decentralized fashion, and quantify the finite-sample errors of the estimated action-value functions. Our error analysis captures how the function class, the number of samples within each iteration, and the number of iterations determine the statistical accuracy of the proposed algorithms. Our results, compared to the finite-sample bounds for single-agent RL, involve additional error terms caused by decentralized computation, which is inherent in our decentralized MARL setting. This work appears to be the first finite-sample analysis for batch MARL, a step towards rigorous theoretical understanding of general MARL algorithms in the finite-sample regime.

研究动机与目标

• 解决多智能体强化学习（MARL）中缺乏有限样本理论保证的问题，特别是在无中心协调的去中心化设置下。
• 为具有时变通信网络的合作与竞争（零和）设置下的批量MARL算法提供严谨的有限样本误差分析。
• 刻画函数类复杂度、每次迭代的样本数量以及迭代次数对去中心化MARL算法统计精度的影响。
• 建立性能边界，分离并量化去中心化计算带来的误差项，这些误差在去中心化MARL中固有存在，但在单智能体或集中式设置中则不存在。
• 通过提供线性函数逼近下批量MARL的非渐近、有限样本收敛保证，弥合经验性MARL进展与理论理解之间的差距。

提出的方法

• 为合作与竞争MARL设置提出去中心化拟合Q-迭代算法，其中智能体在无中心控制器的情况下通过时变网络进行通信。
• 使用DIGing算法（一种去中心化梯度下降方法）在每次迭代中求解值函数拟合问题，实现在智能体间的分布式计算。
• 采用基于单条轨迹数据的批量学习框架，支持离策略评估，并通过函数逼近处理大规模状态-动作空间。
• 应用统计学习理论工具，对有限次迭代和样本数下的动作值函数估计误差进行边界约束。
• 推导出有限样本误差界，其可分解为三个部分：估计误差（来自数据）、去中心化计算误差（来自网络化智能体）和近似误差（来自函数类）。
• 在线性函数逼近设置下，推导出误差的显式边界，其表达式涉及特征维度、样本数量以及去中心化计算中的内层迭代次数。

实验结果

研究问题

• RQ1 去中心化批量MARL的有限样本性能在多大程度上依赖于样本数量、函数类复杂度和迭代次数？
• RQ2 去中心化计算在引入超出标准单智能体RL边界误差项方面起到什么作用？
• RQ3 能否为具有异构奖励且无中心控制器的合作型MARL建立有限样本收敛保证？
• RQ4 在具有线性逼近的设置下，算法性能如何随函数类维度（如特征维度）变化？
• RQ5 通过增加分布式优化过程中的内层迭代次数，去中心化计算误差能在多大程度上被减少？

主要发现

• 所提出的批量MARL算法实现了有限样本收敛，其误差界包含估计误差、去中心化计算误差和近似误差三项。
• 随着样本数量增加（T增大），估计误差减小，模拟结果中外层循环对T递增的收敛性已得到验证。
• 随着内层迭代次数L增加，去中心化计算误差减小，但当L ≈ 100后显著降低，表明超过某一阈值后收益递减。
• 更大的特征维度（d）导致更小的近似误差，因为更丰富的函数类能更好地表示真实值函数，模拟结果也验证了这一点。
• 即使L相对较小（如L=10），算法仍能收敛，表明对初始去中心化计算误差具有鲁棒性。
• 理论边界是批量MARL领域中的首次，为理解去中心化MARL算法的统计效率奠定了基础。