[论文解读] Independent Learning in Stochastic Games

Asuman Ozdaglar, Muhammed O. Sayin+1 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Bandit Algorithms Research参考文献 71被引用 4

一句话总结

本文提出了一种零和随机博弈中新型的独立学习动态，无需智能体之间的协调即可保证收敛。通过使用非对称步长的最优响应更新，将虚构博弈扩展至动态环境，作者在基于模型、无模型及最小信息设置下均实现了收敛，为非平稳环境中的多智能体强化学习提供了去中心化解决方案。

ABSTRACT

Reinforcement learning (RL) has recently achieved tremendous successes in many artificial intelligence applications. Many of the forefront applications of RL involve multiple agents, e.g., playing chess and Go games, autonomous driving, and robotics. Unfortunately, the framework upon which classical RL builds is inappropriate for multi-agent learning, as it assumes an agent's environment is stationary and does not take into account the adaptivity of other agents. In this review paper, we present the model of stochastic games for multi-agent learning in dynamic environments. We focus on the development of simple and independent learning dynamics for stochastic games: each agent is myopic and chooses best-response type actions to other agents' strategy without any coordination with her opponent. There has been limited progress on developing convergent best-response type independent learning dynamics for stochastic games. We present our recently proposed simple and independent learning dynamics that guarantee convergence in zero-sum stochastic games, together with a review of other contemporaneous algorithms for dynamic multi-agent learning in this setting. Along the way, we also reexamine some classical results from both the game theory and RL literature, to situate both the conceptual contributions of our independent learning dynamics, and the mathematical novelties of our analysis. We hope this review paper serves as an impetus for the resurgence of studying independent and natural learning dynamics in game theory, for the more challenging settings with a dynamic environment.

研究动机与目标

• 为解决随机博弈中缺乏收敛的独立学习动态的问题，其中经典强化学习假设环境是平稳的。
• 开发无需协调或对手目标知识的去中心化学习规则。
• 将虚构博弈类动态扩展至动态、非平稳环境，如随机博弈。
• 在多种信息设置下建立收敛保证：基于模型、无模型及最小信息。
• 通过结合最优响应动态与随机博弈理论，弥合博弈论与强化学习之间的鸿沟。

提出的方法

• 提出一种受虚构博弈启发的学习规则，每个智能体基于对手历史动作的经验估计来更新其策略。
• 在更新中使用非对称步长，其中一个智能体更新速度比另一个快，以确保在零和随机博弈中实现收敛。
• 在三种信息范式中应用该动态：完全模型知识、部分模型知识和对手动作的最小观测。
• 在连续时间嵌入中使用延续支付机制，以在学习过程中保持零和结构。
• 整合博弈论与强化学习的思想，以处理动态转移和收益估计。
• 使用随机逼近和基于李雅普诺夫的分析技术研究收敛性，确保渐近收敛至纳什均衡。

实验结果

研究问题

• RQ1 在无智能体间协调的情况下，独立的、基于最优响应的动态是否能在零和随机博弈中收敛？
• RQ2 如何将虚构博弈扩展至具有非平稳转移的动态环境？
• RQ3 当智能体对对手策略或收益函数的信息有限甚至完全缺失时，可能获得哪些学习保证？
• RQ4 去中心化的学习动态是否能在无限时域折扣随机博弈中实现收敛？
• RQ5 非对称更新速度在稳定竞争性动态环境中的学习中起什么作用？

主要发现

• 所提出的独立学习动态在所有三种信息设置下——基于模型、无模型及最小信息——均收敛至零和随机博弈中的纳什均衡。
• 收敛无需智能体知晓对手目标，甚至在最小信息设置下也无需观测对手动作。
• 使用非对称步长可实现收敛，而对称或协调的更新规则可能无法收敛。
• 该方法首次为完全去中心化、独立学习在随机博弈中提供了收敛保证，填补了文献中的长期空白。
• 分析可扩展至连续时间嵌入，并通过时间平均延续支付机制实现收敛，同时保持零和结构。
• 该框架对模型不确定性具有鲁棒性，支持在未知转移概率和收益函数的环境中进行学习。