[论文解读] V-Learning -- A Simple, Efficient, Decentralized Algorithm for Multiagent RL

Chi Jin, Qinghua Liu+2 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Bandit Algorithms Research参考文献 52被引用 11

一句话总结

本文提出 V-learning，一种新颖的多智能体系统去中心化强化学习算法，通过仅维护 V 值而非 Q 值，实现可证明高效的学习。该算法在时间片段 Markov 博弈中实现纳什均衡、相关均衡或粗略相关均衡的学习，样本复杂度为 $\tilde{\mathcal{O}}(H^5 S A / \epsilon^2)$，其中 $A = \max_i A_i$，突破了多智能体系统中联合动作空间增长带来的困境。

ABSTRACT

A major challenge of multiagent reinforcement learning (MARL) is the curse of multiagents, where the size of the joint action space scales exponentially with the number of agents. This remains to be a bottleneck for designing efficient MARL algorithms even in a basic scenario with finitely many states and actions. This paper resolves this challenge for the model of episodic Markov games. We design a new class of fully decentralized algorithms -- V-learning, which provably learns Nash equilibria (in the two-player zero-sum setting), correlated equilibria and coarse correlated equilibria (in the multiplayer general-sum setting) in a number of samples that only scales with $\max_{i\in[m]} A_i$, where $A_i$ is the number of actions for the $i^{ m th}$ player. This is in sharp contrast to the size of the joint action space which is $\prod_{i=1}^m A_i$. V-learning (in its basic form) is a new class of single-agent RL algorithms that convert any adversarial bandit algorithm with suitable regret guarantees into a RL algorithm. Similar to the classical Q-learning algorithm, it performs incremental updates to the value functions. Different from Q-learning, it only maintains the estimates of V-values instead of Q-values. This key difference allows V-learning to achieve the claimed guarantees in the MARL setting by simply letting all agents run V-learning independently.

研究动机与目标

• 解决多智能体强化学习中的多智能体困境，即联合动作空间随智能体数量呈指数级增长的问题。
• 设计一种完全去中心化的多智能体强化学习算法，避免集中式协调与通信。
• 在一般和为与零和 Markov 博弈中，实现学习均衡的可证明高效样本复杂度。
• 克服现有集中式多智能体强化学习算法在联合动作空间规模增大时性能急剧下降的局限性。
• 提供一个统一框架，通过 V 值更新将对抗性 bandit 算法转化为高效的强化学习算法。

提出的方法

• 提出 V-learning，一种单智能体强化学习算法，采用类似 Q-learning 的基于值的更新规则，但不维护 Q 值，仅对 V 值进行增量更新。
• 利用任意具有次线性遗憾的对抗性 bandit 算法作为子程序，指导 V-learning 中的策略更新。
• 将学习过程分解为 V 值估计与通过动作分布上的加权遗憾最小化实现的策略更新。
• 使用加权遗憾分解来界定每个智能体的置换遗憾，从而实现对相关均衡与粗略相关均衡的收敛。
• 通过允许每个智能体仅使用本地观测到的动作与奖励独立运行 V-learning，确保算法的去中心化特性。
• 应用 Azuma-Hoeffding 不等式与集中不等式等理论工具，推导出关于遗憾与收敛性的高概率界。

实验结果

研究问题

• RQ1 我们能否设计一种去中心化的多智能体强化学习算法，避免多智能体系统中联合动作空间的指数级增长？
• RQ2 仅维护 V 值而非 Q 值，是否能在一般和为与零和 Markov 博弈中实现可证明高效的学效率？
• RQ3 V-learning 是否能在与各智能体动作空间乘积无关的样本复杂度下，实现对纳什均衡、相关均衡与粗略相关均衡的收敛？
• RQ4 是否能通过 V-learning 将任意具有次线性遗憾的对抗性 bandit 算法转化为样本高效的强化学习算法？
• RQ5 V-learning 是否能在保持完全去中心化的同时，实现近似最优的样本复杂度，并可扩展至大规模多智能体系统？

主要发现

• 在双人零和 Markov 博弈中，V-learning 实现了纳什均衡学习的样本复杂度为 $\tilde{\mathcal{O}}(H^5 S A / \epsilon^2)$，其中 $A = \max_i A_i$。
• 在多人一般和为 Markov 博弈中，V-learning 在 $\tilde{\mathcal{O}}(H^5 S A / \epsilon^2)$ 个时间片段内找到粗略相关均衡。
• 在多人一般和为博弈中，V-learning 以样本复杂度 $\tilde{\mathcal{O}}(H^5 S A^2 / \epsilon^2)$ 计算出相关均衡。
• 该算法完全去中心化：每个智能体独立运行 V-learning，仅依赖本地观测，无需通信或协调。
• 理论分析表明，V-learning 的样本复杂度仅与最大个体动作空间大小 $A$ 相关，而非乘积 $\prod_i A_i$，从而打破了多智能体的困境。
• 该方法具有可证明的高效性，其样本复杂度仅与信息论下界相差对数因子，证明了近似最优性。