[论文解读] Learning Equilibria of Games via Payoff Queries

John Fearnley, Martin Gairing+2 more|arXiv (Cornell University)|Feb 13, 2013

Game Theory and Applications参考文献 37被引用 6

一句话总结

本文提出了一种基于收益查询的计算学习模型，用于在博弈中寻找纳什均衡——其中算法通过请求特定策略组合的收益来获取信息。研究建立了在双矩阵博弈、图博弈和对称网络非阻塞博弈中精确与近似均衡的查询复杂度界限，表明在某些结构化博弈中，特别是有向无环网络和并行链路非阻塞博弈中，均衡可通过亚线性数量的查询被学习到。

ABSTRACT

A recent body of experimental literature has studied empirical game-theoretical analysis, in which we have partial knowledge of a game, consisting of observations of a subset of the pure-strategy profiles and their associated payoffs to players. The aim is to find an exact or approximate Nash equilibrium of the game, based on these observations. It is usually assumed that the strategy profiles may be chosen in an on-line manner by the algorithm. We study a corresponding computational learning model, and the query complexity of learning equilibria for various classes of games. We give basic results for bimatrix and graphical games. Our focus is on symmetric network congestion games. For directed acyclic networks, we can learn the cost functions (and hence compute an equilibrium) while querying just a small fraction of pure-strategy profiles. For the special case of parallel links, we have the stronger result that an equilibrium can be identified while only learning a small fraction of the cost values.

研究动机与目标

• 形式化一种仅使用收益查询来学习博弈均衡的计算模型，其中算法通过提出策略组合来学习收益。
• 分析计算精确与近似纳什均衡所需的查询复杂度（即查询次数）。
• 确定是否可以在远少于穷举枚举的查询次数下找到均衡，尤其是在具有紧凑表示的博弈中。
• 探索收益查询算法的理论极限，将其与其他查询模型（如最优响应或噪声查询）进行比较。
• 识别在何种条件下均衡可被以亚线性查询复杂度学习，特别是在有向无环图（DAG）和并行链路上的对称网络非阻塞博弈中。

提出的方法

• 提出一种收益查询模型，其中算法选择纯策略组合，并接收所有玩家在该组合下的对应收益。
• 针对双矩阵博弈，建立计算精确与近似均衡所需收益查询数量的上下界。
• 针对有向无环网络（DAG）上的对称网络非阻塞博弈，证明学习成本函数和计算均衡仅需极少数纯策略组合。
• 针对并行链路非阻塞博弈，证明仅需学习少量成本值即可识别均衡，利用了博弈结构的简单性。
• 引入两种查询类型：普通查询（总负载 = n）和欠载查询（总负载 < n），其中普通查询用于建模标准收益查询。
• 使用组合与信息论技术推导查询复杂度的下界，尤其针对固定 ε 的近似均衡。

实验结果

研究问题

• RQ1 在双矩阵博弈和图博弈中，计算精确纳什均衡所需的最少收益查询数量是多少？
• RQ2 当 ε 为常数（例如 ε < 1/2）时，是否可在双矩阵博弈中以亚线性查询复杂度计算 ε-纳什均衡？
• RQ3 在有向无环图（DAG）和并行链路上的对称网络非阻塞博弈中，学习精确均衡的查询复杂度是多少？
• RQ4 在非阻塞博弈中，查询复杂度如何随玩家数（n）和策略数（m）变化？
• RQ5 是否存在某些博弈类别，使得最优响应或噪声收益查询在查询复杂度上优于标准收益查询？

主要发现

• 在有向无环图（DAG）上的对称网络非阻塞博弈中，仅需极少数纯策略组合即可学习成本函数，从而确定均衡。
• 在并行链路的特殊情形下，仅需学习少量成本值即可识别均衡，展现出极强的亚线性查询复杂度。
• 对于双矩阵博弈，当 ε 依赖于 k 时，收益查询复杂度存在超线性下界；并且在 (1−1/i)-纳什均衡的查询复杂度上，存在介于 k−i+1 与 2k−i+1 之间的差距。
• 对于双矩阵博弈中的近似均衡，当常数 ε < 1/2 时，查询复杂度在确定性设置下仍为开放问题。
• 对于具有 m 条链路和 n 名玩家的非阻塞博弈，查询复杂度的上界为 O(log(n)·log²(m)/log log(m) + m)，与 Ω(log n + m) 的下界仅相差多对数因子。
• 本文指出，需构造一个同时依赖于 n 和 m 的单一下界构造，才能填补非阻塞博弈中上下界之间的差距。