[论文解读] Bandit Online Learning of Nash Equilibria in Monotone Games

Tatiana Tatarenko, Maryam Kamgarpour|arXiv (Cornell University)|Sep 8, 2020

Advanced Bandit Algorithms Research参考文献 20被引用 6

一句话总结

本文提出了一种用于多智能体凸博弈的bandit在线学习算法，在弱单调性条件下收敛至纳什均衡，而非先前工作所需的强单调性。每个智能体仅通过在所选动作处观测到的局部代价函数值进行学习，无需了解自身或他人的代价函数形式或策略，从而可广泛适用于零和博弈、混合扩展博弈以及具有线性约束的博弈。

ABSTRACT

We address online bandit learning of Nash equilibria in multi-agent convex games. We propose an algorithm whereby each agent uses only obtained values of her cost function at each joint played action, lacking any information of the functional form of her cost or other agents' costs or strategies. In contrast to past work where convergent algorithms required strong monotonicity, we prove that the algorithm converges to a Nash equilibrium under mere monotonicity assumption. The proposed algorithm extends the applicability of bandit learning in several games including zero-sum convex games with possibly unbounded action spaces, mixed extension of finite-action zero-sum games, as well as convex games with linear coupling constraints.

研究动机与目标

• 开发一种用于多智能体凸博弈的bandit学习算法，其中智能体无法访问自身或他人代价函数的函数形式。
• 在最小假设——单调性下实现收敛至纳什均衡，而非如先前工作所要求的强单调性。
• 将bandit学习的适用范围扩展至更广泛的博弈类别，包括动作空间无界的零和凸博弈以及具有线性耦合约束的博弈。
• 实现去中心化学习，使每个智能体仅依赖于在联合动作下观测到的代价值，无需全局信息或梯度访问。
• 为传统在线学习方法因缺乏完整信息而失效的场景提供收敛性理论保证。

提出的方法

• 该算法采用bandit反馈机制，每个智能体仅能观测到其代价函数在所执行联合动作处的取值，无法访问梯度或函数形式。
• 利用仅基于观测代价值的投影在线梯度下降式更新规则，并针对有限反馈的bandit设置进行适应性调整。
• 收敛性证明依赖于博弈算子的单调性，该性质确保最优响应动态会收敛至纳什均衡。
• 该方法设计为去中心化，每个智能体仅根据自身观测到的代价值更新策略，无需协调或了解其他人的策略。
• 通过引入适当的投影和正则化技术，该算法可处理无界动作空间和线性耦合约束。
• 理论分析表明，在单调性假设下可实现收敛至纳什均衡，无需强单调性或完整信息。

实验结果

研究问题

• RQ1 是否可在仅使用bandit反馈、且无法访问代价函数形式的情况下，实现多智能体凸博弈中纳什均衡的收敛？
• RQ2 该算法是否可在弱单调性条件下收敛，而非如先前工作所要求的强单调性？
• RQ3 所提出的方法是否可应用于动作空间无界的零和凸博弈？
• RQ4 在仅依赖局部代价观测的情况下，线性耦合约束博弈中的收敛性是否仍能保证？
• RQ5 与需要完整信息或强单调性的先前方法相比，去中心化bandit学习方法表现如何？

主要发现

• 该算法在单调性假设下收敛至纳什均衡，而该条件严格弱于先前方法所要求的强单调性。
• 收敛性仅通过在每个联合动作处观测到的局部代价函数值实现，无需访问梯度或函数形式。
• 该方法适用于动作空间无界的零和凸博弈，扩展了此类场景下bandit学习的适用范围。
• 该方法适用于有限动作零和博弈的混合扩展，支持在随机策略博弈中实现bandit学习。
• 该算法可处理具有线性耦合约束的凸博弈，在单调性条件下保持收敛性。
• 理论分析确认了收敛性，且无需协调或全局信息，支持去中心化实现。