[论文解读] AWESOME: A General Multiagent Learning Algorithm that Converges in Self-Play and Learns a Best Response Against Stationary Opponents

Vincent Conitzer, Tüomas Sandholm|arXiv (Cornell University)|Jul 1, 2003

Reinforcement Learning in Robotics参考文献 14被引用 36

一句话总结

AWESOME 是一种通用的多智能体学习算法，可在所有有限重复博弈中保证在自对弈中收敛至纳什均衡，并在面对平稳对手时实现最优对弈。它能适应感知到的平稳对手策略，但一旦检测到非平稳性，便会恢复至预先计算的均衡状态，仅依赖于观测到的动作，无需使用无穷小更新或策略观测。

ABSTRACT

A satisfactory multiagent learning algorithm should, {\em at a minimum}, learn to play optimally against stationary opponents and converge to a Nash equilibrium in self-play. The algorithm that has come closest, WoLF-IGA, has been proven to have these two properties in 2-player 2-action repeated games--assuming that the opponent's (mixed) strategy is observable. In this paper we present AWESOME, the first algorithm that is guaranteed to have these two properties in {\em all} repeated (finite) games. It requires only that the other players' actual actions (not their strategies) can be observed at each step. It also learns to play optimally against opponents that {\em eventually become} stationary. The basic idea behind AWESOME ({\em Adapt When Everybody is Stationary, Otherwise Move to Equilibrium}) is to try to adapt to the others' strategies when they appear stationary, but otherwise to retreat to a precomputed equilibrium strategy. The techniques used to prove the properties of AWESOME are fundamentally different from those used for previous algorithms, and may help in analyzing other multiagent learning algorithms also.

研究动机与目标

• 开发一种多智能体学习算法，以保证在面对平稳对手时实现最优对弈。
• 确保在所有有限重复博弈的自对弈中收敛至纳什均衡。
• 消除先前算法的限制性假设，例如可观测的对手策略或无穷小更新。
• 设计一种适用于任意有限数量智能体和动作的通用算法。
• 为非平稳环境中的鲁棒多智能体学习提供理论基础框架。

提出的方法

• AWESOME 维持两个零假设：其他智能体正在执行预先计算的均衡策略，或其策略是平稳的。
• 它在不断增长的周期内对动作序列进行统计假设检验，以检测非平稳性。
• 当任一假设被拒绝时，AWESOME 会重置其策略，并从预先计算的均衡状态重新开始学习。
• 该算法通过动态增加周期长度并收紧拒绝标准，确保收敛。
• 通过在自身动作可能向其他智能体传递非平稳性信号时重启，实现自我意识。
• 该方法仅依赖于观测到的动作，不依赖于推断的对手策略或基于梯度的更新。

实验结果

研究问题

• RQ1 是否存在一种多智能体学习算法，可在所有有限重复博弈的自对弈中保证收敛至纳什均衡？
• RQ2 此类算法是否也能在对手最终变为平稳时学习实现最优对弈？
• RQ3 是否可能在不需观测对手策略或使用无穷小更新步长的情况下，同时实现上述两种性质？
• RQ4 如何仅通过观测到的动作检测对手行为的非平稳性？
• RQ5 在对手具有适应性的情况下，何种条件可确保算法收敛至纳什均衡？

主要发现

• AWESOME 是首个被证明可在所有有限重复博弈中实现自对弈收敛至纳什均衡的算法，无论智能体数量或动作数量如何。
• 它可保证在面对平稳或最终变为平稳的对手时实现最优对弈，即使仅能观测到实际动作。
• 该算法无需了解对手策略，也无需使用无穷小梯度更新。
• 通过在观测到的动作序列上进行自适应假设检验，并随周期长度增加，实现收敛。
• 若假设检验因偶然因素错误拒绝平稳性假设，AWESOME 可能收敛至与预先计算的均衡不同的纳什均衡。
• AWESOME 收敛性的理论框架与先前方法有本质不同，为分析多智能体学习算法提供了新工具。