[论文解读] Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality

Stefanos Leonardos, Georgios Piliouras+1 more|arXiv (Cornell University)|Jun 24, 2021

Experimental Behavioral Economics Studies被引用 11

一句话总结

本文提出了一种平滑Q-learning算法，结合Boltzmann探索机制，作为在 bounded rationality 条件下多智能体竞争博弈中的可证明收敛算法。研究证明，在具有正探索率的加权零和多矩阵博弈中，系统动力学会收敛至唯一的量化响应均衡（QRE），从而在无需参数调优或依赖智能体数量的情况下解决均衡选择问题。

ABSTRACT

The interplay between exploration and exploitation in competitive multi-agent learning is still far from being well understood. Motivated by this, we study smooth Q-learning, a prototypical learning model that explicitly captures the balance between game rewards and exploration costs. We show that Q-learning always converges to the unique quantal-response equilibrium (QRE), the standard solution concept for games under bounded rationality, in weighted zero-sum polymatrix games with heterogeneous learning agents using positive exploration rates. Complementing recent results about convergence in weighted potential games, we show that fast convergence of Q-learning in competitive settings is obtained regardless of the number of agents and without any need for parameter fine-tuning. As showcased by our experiments in network zero-sum games, these theoretical results provide the necessary guarantees for an algorithmic approach to the currently open problem of equilibrium selection in competitive multi-agent settings.

研究动机与目标

• 为解决在存在多个纳什均衡的多智能体竞争系统中均衡选择的开放问题。
• 理解探索-利用动态如何影响网络化零和博弈中的收敛性与结果选择。
• 为在 bounded rationality 条件下的多智能体竞争设置提供收敛性理论保证。
• 证明正探索率可导致唯一且稳定的均衡，即使原始博弈存在多个均衡。
• 弥合理论收敛性与学习算法在竞争环境中实际均衡选择之间的差距。

提出的方法

• 采用平滑Q-learning（即Boltzmann Q-learning），通过各智能体特定的探索率 T_k 平衡奖励最大化与探索需求。
• 基于当前策略组合与唯一QRE之间KL散度的全局李雅普诺夫函数，证明收敛性。
• 通过连续时间更新规则建模智能体动态：dx_i / x_i = (r_i - r̄) - T_k (ln x_i - Σ x_j ln x_j)，刻画收益与熵之间的权衡。
• 在加权零和多矩阵博弈中分析收敛性，该类博弈是两玩家零和博弈向网络结构的推广。
• 通过在具有不同探索配置和智能体数量的网络零和博弈中进行实验，验证理论结果。
• 通过实证分析研究当探索率趋近于零时的均衡选择，重点关注收益公平性与策略选择。

实验结果

研究问题

• RQ1 在具有正探索率的平滑Q-learning中，是否能在竞争性多智能体网络中收敛至唯一均衡？
• RQ2 探索如何影响具有多个均衡的博弈中纳什均衡的选择？
• RQ3 是否可在无需参数调优的情况下保证收敛，无论智能体数量或均衡多重性如何？
• RQ4 bounded rationality 在塑造学习动态与均衡结果方面起到何种作用？
• RQ5 探索是否可在对称竞争环境中带来更公平的收益分配？

主要发现

• 在所有加权零和多矩阵博弈中，无论初始条件或智能体数量如何，具有正探索率的平滑Q-learning均收敛至唯一的量化响应均衡（QRE）。
• 收敛性通过基于KL散度的全局李雅普诺夫论证得到保证，证明了均衡的稳定性和唯一性。
• 当所有智能体均采用正探索率时，系统可避免极限环，点态收敛至单一QRE，即使在存在纳什均衡连续统的博弈中亦然。
• 实验表明，具有战略灵活性的智能体（如三智能体链中的偶数号智能体）的探索行为，可导致对称智能体（如p1与p3）之间实现公平的收益分配，从而选择平衡均衡。
• 若无探索，动态可能收敛至任意均衡，导致任意的收益分配；而引入探索后，系统会选择特定且公平的结果。
• 理论与实证结果表明，探索可作为均衡选择机制，在竞争环境中倾向于选择对称且公平的结果。