[论文解读] A Computationally Efficient Implementation of Fictitious Play for Large-Scale Games

Brian Swenson, Soummya Kar+1 more|arXiv (Cornell University)|Jun 13, 2015

Game Theory and Applications参考文献 19被引用 7

一句话总结

该论文提出计算高效的采样虚构博弈（CESFP），一种虚构博弈的变体，通过使用随机逼近更新规则，将每轮采样减少至仅一个样本，同时在大规模博弈中保持几乎必然收敛至纳什均衡——相比需要每轮 O(√t) 个样本的采样虚构博弈，显著降低了计算成本。

ABSTRACT

The paper is concerned with distributed learning and optimization in large-scale settings. The well-known Fictitious Play (FP) algorithm has been shown to achieve Nash equilibrium learning in certain classes of multi-agent games. However, FP can be computationally difficult to implement when the number of players is large. Sampled FP is a variant of FP that mitigates the computational difficulties arising in FP by using a Monte-Carlo (i.e., sampling-based) approach. The Sampled FP algorithm has been studied both as a tool for distributed learning and as an optimization heuristic for large-scale problems. Despite its computational advantages, a shortcoming of Sampled FP is that the number of samples that must be drawn in each round of the algorithm grows without bound (on the order of $\sqrt{t}$, where $t$ is the round of the repeated play). In this paper we propose Computationally Efficient Sampled FP (CESFP)---a variant of Sampled FP in which only one sample need be drawn each round of the algorithm (a substantial reduction from $O(\sqrt{t})$ samples per round, as required in Sampled FP). CESFP operates using a stochastic-approximation type rule to estimate the expected utility from round to round. It is proven that the CESFP algorithm achieves Nash equilibrium learning in the same sense as classical FP and Sampled FP. Simulation results suggest that the convergence rate of CESFP (in terms of repeated-play iterations) is similar to that of Sampled FP.

研究动机与目标

• 为解决大规模多智能体博弈中虚构博弈的高计算成本问题。
• 克服采样虚构博弈的局限性，后者需要每轮 O(√t) 个样本以确保收敛，使其在大规模场景中不切实际。
• 开发一种采样虚构博弈的变体，保持收敛至纳什均衡的同时，大幅降低每轮采样复杂度。
• 通过避免对高维策略单纯形上期望效用的直接计算，实现可扩展的分布式学习。
• 为优化、路由和控制等应用提供一种实用且计算高效的经典虚构博弈与采样虚构博弈的替代方案。

提出的方法

• CESFP 使用类似随机逼近的递归更新规则来估计期望效用，结合当前和历史采样数据，而非丢弃先前样本。
• 该算法每轮仅抽取一个样本，与采样虚构博弈的 O(√t) 个样本相比，显著降低了每轮迭代的计算成本。
• 通过加权平均估计期望效用：μ̂_t = (1−ρ_t)μ̂_{t−1} + ρ_t X_t，其中 ρ_t 为递减步长。
• 通过证明 CESFP 是广义弱化虚构博弈过程，利用 [20] 中关于均衡学习的结果，实现收敛性证明。
• 该方法通过依赖递归更新的采样效用近似，避免显式计算高维期望效用。
• 采用递减步长 ρ_t，使得 ∑ρ_t = ∞ 且 ∑ρ_t² < ∞，确保估计的期望效用渐近收敛。

实验结果

研究问题

• RQ1 能否设计一种虚构博弈的变体，使其在每轮仅需一个样本的同时，仍能保持收敛至纳什均衡？
• RQ2 在采样虚构博弈中，将每轮采样从 O(√t) 减少至 1，是否能保持对均衡的几乎必然收敛？
• RQ3 基于随机逼近的递归估计规则，能否有效替代经典采样虚构博弈中所需的完整采样？
• RQ4 与采样虚构博弈相比，所提方法在重复博弈迭代中的收敛速率如何？
• RQ5 在哪些大规模博弈场景中，该方法可实现保证收敛的实际应用？

主要发现

• CESFP 实现了对纳什均衡集的几乎必然收敛，其收敛保证与经典虚构博弈和采样虚构博弈一致。
• 该算法每轮仅需一个样本，与采样虚构博弈相比，每轮迭代的计算成本从 O(√t) 降低至 O(1)。
• 仿真结果表明，CESFP 在重复博弈迭代次数上的收敛速率与采样虚构博弈相当。
• 通过与广义弱化虚构博弈的关联，实现了收敛性证明，确立了理论有效性。
• 由于每轮采样开销极低，该方法适用于大规模优化、交通路由、认知无线电和马尔可夫决策过程。
• 递归估计规则在步长序列满足温和条件时，可确保估计误差以几乎必然的方式收敛至零。