[论文解读] Decentralized Q-Learning in Zero-sum Markov Games

Muhammed O. Sayin, Kaiqing Zhang+3 more|Lancaster EPrints (Lancaster University)|Jun 4, 2021

Reinforcement Learning in Robotics参考文献 66被引用 8

一句话总结

该论文提出了一种用于零和马尔可夫博弈的去中心化Q-learning算法，在无需集中协调的情况下收敛至纳什均衡。智能体仅使用本地奖励和动作进行学习，通过双时标更新规则独立估计Q值和价值函数，当对方策略固定时确保收敛至最优响应，当双方均采用该动态时则收敛至纳什均衡。

ABSTRACT

We study multi-agent reinforcement learning (MARL) in infinite-horizon discounted zero-sum Markov games. We focus on the practical but challenging setting of decentralized MARL, where agents make decisions without coordination by a centralized controller, but only based on their own payoffs and local actions executed. The agents need not observe the opponent's actions or payoffs, possibly being even oblivious to the presence of the opponent, nor be aware of the zero-sum structure of the underlying game, a setting also referred to as radically uncoupled in the literature of learning in games. In this paper, we develop a radically uncoupled Q-learning dynamics that is both rational and convergent: the learning dynamics converges to the best response to the opponent's strategy when the opponent follows an asymptotically stationary strategy; when both agents adopt the learning dynamics, they converge to the Nash equilibrium of the game. The key challenge in this decentralized setting is the non-stationarity of the environment from an agent's perspective, since both her own payoffs and the system evolution depend on the actions of other agents, and each agent adapts her policies simultaneously and independently. To address this issue, we develop a two-timescale learning dynamics where each agent updates her local Q-function and value function estimates concurrently, with the latter happening at a slower timescale.

研究动机与目标

• 解决去中心化多智能体强化学习（MARL）中的非平稳性挑战，即由于其他智能体采用自适应策略，其环境随之变化。
• 在最小信息假设下，设计一个可证明收敛的MARL算法：智能体仅能观测自身奖励、动作和状态，而无需了解对手的动作、收益或零和结构。
• 仅使用本地学习动态，在无限时域折扣零和马尔可夫博弈中实现收敛至纳什均衡。
• 在智能体完全无视彼此存在（即极端去耦合）的情况下，仍保持理性学习行为。

提出的方法

• 提出一种双时标学习动态，智能体并行更新其Q值和价值函数估计，其中价值函数更新速度更慢。
• 利用本地奖励和动作观测估计Q函数和价值函数，通过Boltzmann策略实现探索。
• 引入策略随时间的加权平均，以确保当对方策略固定时收敛至最优响应策略。
• 应用随机逼近理论在温和假设下证明收敛性，将对方策略视为随机环境。
• 将收敛性分析推广至处理随机奖励和转移动态，将对方动作建模为随机事件。
• 通过避免任何协调或对对手策略的了解，确保算法始终保持去中心化，即使在无法观测对方的情况下亦然。

实验结果

研究问题

• RQ1 当智能体无法访问对手动作或收益时，去中心化Q-learning算法能否在零和马尔可夫博弈中收敛至纳什均衡？
• RQ2 当对方策略非平稳且仅可本地观测时，智能体如何实现理性学习行为——即收敛至最优响应？
• RQ3 何种学习动态可在极端去耦合（即智能体完全无视彼此）的最小信息假设下确保收敛？
• RQ4 双时标Q-learning方法能否在因双方策略同步适应而引起的非平稳环境中稳定学习？
• RQ5 在何种条件下算法收敛至精确的纳什均衡，而在何种条件下收敛至近似最优响应策略？

主要发现

• 当一个智能体采用渐近平稳策略时，另一智能体的价值函数估计几乎必然收敛至该策略下可达到的最大值，误差受 $ \epsilon \xi^i g(\gamma) $ 限制（在假设1下）。
• 在更强假设下（假设2），价值函数估计几乎必然精确收敛至最优响应值，满足 $ \lim_{k\to\infty} |\hat{v}_{s,k}^i - \max_{\pi^i} v_{\pi^i,\tilde{\pi}^{-i}}^i(s)| = 0 $。
• 策略的加权平均收敛至最优响应策略：在假设1下，有 $ \limsup_{k\to\infty} \left( \max_{\pi^i} v_{\pi^i,\tilde{\pi}^{-i}}^i(s) - v_{\hat{\pi}_k^i,\tilde{\pi}^{-i}}^i(s) \right) \leq \epsilon \xi^i h(\gamma) $。
• 当双方智能体均采用该学习动态时，算法几乎必然收敛至该博弈的纳什均衡。
• 在20个状态、每状态10个动作、$ \gamma = 0.5 $ 的博弈中，仿真结果验证了理论收敛性，即使在大规模设置下且图表密集复杂的情况下亦成立。
• 只要对方策略渐近平稳，算法在随机奖励和转移动态下仍保持鲁棒性，验证了理论框架的有效性。