[论文解读] Approximating Nash Equilibria for Black-Box Games: A Bayesian Optimization Approach

Abdullah Al-Dujaili, Erik Hemberg+1 more|arXiv (Cornell University)|Apr 27, 2018

Gaussian Processes and Bayesian Inference参考文献 6被引用 3

一句话总结

本文提出了一种贝叶斯优化框架 BN，用于在昂贵、黑箱的连续博弈中近似纳什均衡，其中收益评估具有噪声且成本高昂。与分层或离散化方法不同，BN 通过高斯过程联合学习完整博弈，并在连续策略空间上估计遗憾，仅需少于 25 次函数评估，即可在高维和噪声环境下显著降低遗憾。

ABSTRACT

Game theory has emerged as a powerful framework for modeling a large range of multi-agent scenarios. Many algorithmic solutions require discrete, finite games with payoffs that have a closed-form specification. In contrast, many real-world applications require modeling with continuous action spaces and black-box utility functions where payoff information is available only in the form of empirical (often expensive and/or noisy) observations of strategy profiles. To the best of our knowledge, few tools exist for solving the class of expensive, black-box continuous games. In this paper, we develop a method to find equilibria for such games in a sequential decision-making framework using Bayesian Optimization. The proposed approach is validated on a collection of synthetic game problems with varying degree of noise and action space dimensions. The results indicate that it is capable of improving the maximum regret in noisy and high dimensions to a greater extent than hierarchical or discretized methods.

研究动机与目标

• 解决在昂贵且具有噪声的收益评估下，连续、黑箱博弈中寻找纳什均衡的可扩展、通用方法缺乏的问题。
• 克服现有方法依赖双层优化或对策略空间进行粗粒度离散化的局限性。
• 开发一种直接在完整连续动作空间上运行、无需网格约束的框架。
• 与最先进基线方法相比，提升高维和噪声博弈环境下的遗憾最小化性能。
• 提供公开可获取的实现，以支持可复现性，并促进在经验博弈论研究中的广泛应用。

提出的方法

• 使用高斯过程（GPs）建模每位玩家的收益函数，以实现对未知效用函数的概率推理。
• 通过优化学习到的 GP 后验均值来寻找局部最大值，而非通过迭代最优响应动态来近似最优响应。
• 将均衡搜索表述为在联合策略空间上的平坦、单层优化问题，避免计算成本高昂的双层循环。
• 使用采集函数（例如，期望改进）引导策略配置的序列采样，平衡探索与利用。
• 通过精确和噪声近似两种方式估计博弈论遗憾，其中后者增强探索能力。
• 通过新收益观测迭代更新 GP 模型，并在收敛或预算耗尽前不断精炼均衡估计。

实验结果

研究问题

• RQ1 贝叶斯优化框架能否在昂贵且具有噪声的收益评估下，有效近似连续、黑箱博弈中的纳什均衡？
• RQ2 在噪声和高维性条件下，所提出的 BN 方法与分层或离散化方法（如 GPG）相比，在遗憾最小化方面表现如何？
• RQ3 使用遗憾的噪声近似是否能增强探索能力，并带来比精确遗憾计算更好的收敛性？
• RQ4 当纳什均衡发生偏移或与网格不一致时，策略空间的连续表示相较于基于网格的方法在多大程度上表现更优？
• RQ5 在合成博弈环境中，该方法在维度增加和函数评估次数增多时的可扩展性如何？

主要发现

• 在 25 次或更多函数评估下，BN 在噪声和高维博弈中显著降低了遗憾，相比 GPG 和 BR 方法，最终遗憾水平更低。
• BN-approx 变体（使用遗憾的噪声近似）在大多数设置下优于 BN-exact，表明噪声有助于增强探索并改善收敛性。
• 在偏移的纳什均衡场景中（如 Saddle.1 和 Saddle.2），BN 始终优于 GPG 变体，后者受网格离散化的限制，无法适应非网格对齐的均衡。
• 当函数评估次数超过 GPG 的网格大小（例如 11×11）时，BN 仍能保持低遗憾，展现出优越的可扩展性和适应性。
• 该方法避免了细粒度 GPG 网格导致的内存问题——例如，93×93 网格引发了内存分配错误——同时仍实现了更优的遗憾性能。
• 在 MOP 游戏中，BN-approx 在 8 次独立运行中实现了最低的平均遗憾，误差带表明收敛稳定。