[论文解读] Learning in games with continuous action sets and unknown payoff functions

Panayotis Mertikopoulos, Zhengyuan Zhou|arXiv (Cornell University)|Aug 25, 2016

Advanced Bandit Algorithms Research参考文献 35被引用 5

一句话总结

本文研究具有连续动作集和未知收益函数的博弈中的无遗憾学习，聚焦于使用噪声梯度估计的对偶平均算法。研究证明，变分稳定性可确保以高概率实现局部收敛，全局稳定性则可保证几乎必然的全局收敛，并提供了明确的收敛速率估计。

ABSTRACT

This paper examines the convergence of no-regret learning in games with continuous action sets. For concreteness, we focus on learning via "dual averaging", a widely used class of no-regret learning schemes where players take small steps along their individual payoff gradients and then "mirror" the output back to their action sets. In terms of feedback, we assume that players can only estimate their payoff gradients up to a zero-mean error with bounded variance. To study the convergence of the induced sequence of play, we introduce the notion of variational stability, and we show that stable equilibria are locally attracting with high probability whereas globally stable equilibria are globally attracting with probability 1. We also discuss some applications to mixed-strategy learning in finite games, and we provide explicit estimates of the method's convergence speed.

研究动机与目标

• 分析具有连续动作集和未知收益函数的博弈中无遗憾学习的收敛性。
• 研究噪声收益梯度估计对学习动态的影响。
• 引入并形式化变分稳定性作为收敛条件的概念。
• 表征在全局变分稳定性下学习的几乎必然全局收敛性。
• 在稳定性假设下，为该学习方法提供明确的收敛速率估计。

提出的方法

• 使用对偶平均，即一类无遗憾学习方案，玩家通过沿估计收益梯度的微小步长更新动作。
• 应用‘镜像’操作将更新后的动作投影回可行动作集。
• 假设收益梯度以均值为零、方差有界的噪声进行估计。
• 引入变分稳定性的概念，以表征均衡的吸引性。
• 采用随机逼近和基于李雅普诺夫的分析方法研究收敛特性。
• 在稳定性条件下推导出明确的收敛速率估计。

实验结果

研究问题

• RQ1 在具有连续动作集和未知收益函数的博弈中，无遗憾学习在何种条件下收敛到均衡？
• RQ2 噪声梯度估计如何影响学习动态的收敛性？
• RQ3 变分稳定性在确保局部或全局收敛中发挥何种作用？
• RQ4 全局变分稳定性能否保证几乎必然收敛到均衡？
• RQ5 在稳定性假设下，对偶平均方法的显式收敛速率是多少？

主要发现

• 在具有噪声梯度估计的对偶平均算法下，稳定均衡以高概率实现局部吸引。
• 全局稳定的均衡以概率1实现全局吸引，确保几乎必然收敛。
• 该学习方法的收敛速率得到明确估计，提供了定量性能边界。
• 通过在连续动作空间中的适当嵌入，该框架可适用于有限博弈中的混合策略学习。
• 变分稳定性作为收敛的充分条件，将博弈论中的稳定性与学习动态联系起来。
• 在收益梯度估计中存在有界方差噪声的条件下，分析结果依然成立，确保对估计误差的鲁棒性。