[论文解读] Equilibrium Learning in Combinatorial Auctions: Computing Approximate Bayesian Nash Equilibria via Pseudogradient Dynamics

Stefan Heidekrüger, Paul Sutterer+3 more|arXiv (Cornell University)|Jan 28, 2021

Auction Theory and Applications参考文献 30被引用 6

一句话总结

本文提出神经伪梯度上升（NPGA），一种可扩展的、可微分的方法，通过将策略表示为神经网络并使用基于进化策略的伪梯度估计在自对弈中计算组合拍卖中的近似贝叶斯纳什均衡（BNE）。该方法在多种拍卖环境中实现了快速且稳健的先验ϵ-BNE收敛，并在较弱正则性条件下具备理论收敛保证。

ABSTRACT

Applications of combinatorial auctions (CA) as market mechanisms are prevalent in practice, yet their Bayesian Nash equilibria (BNE) remain poorly understood. Analytical solutions are known only for a few cases where the problem can be reformulated as a tractable partial differential equation (PDE). In the general case, finding BNE is known to be computationally hard. Previous work on numerical computation of BNE in auctions has relied either on solving such PDEs explicitly, calculating pointwise best-responses in strategy space, or iteratively solving restricted subgames. In this study, we present a generic yet scalable alternative multi-agent equilibrium learning method that represents strategies as neural networks and applies policy iteration based on gradient dynamics in self-play. Most auctions are ex-post nondifferentiable, so gradients may be unavailable or misleading, and we rely on suitable pseudogradient estimates instead. Although it is well-known that gradient dynamics cannot guarantee convergence to NE in general, we observe fast and robust convergence to approximate BNE in a wide variety of auctions and present a sufficient condition for convergence

研究动机与目标

• 为具有连续类型和动作空间的组合拍卖中的贝叶斯纳什均衡（BNE）计算缺乏可扩展数值方法的问题提供解决方案。
• 克服事后拍卖收益的不可微性，该问题使得标准梯度方法无法直接应用。
• 开发一种通用的、硬件加速的均衡学习框架，仅需拍卖结果评估，无需针对问题的子程序。
• 在较弱正则性条件下（包括梯度的利普希茨连续性和策略的通用逼近性）建立向近似BNE理论收敛的保证。
• 在单件拍卖和组合拍卖中对方法进行实证验证，恢复已知的解析BNE，并展示稳健的收敛性。

提出的方法

• 将代理策略表示为神经网络，以参数化基于私有价值的连续出价函数。
• 在自对弈中使用基于进化策略（ES）的伪梯度估计的策略梯度更新，即使拍卖结果不可微，也能实现梯度计算。
• 通过带欧几里得正则化的对偶平均法实现对平滑先验效用函数的在线梯度上升，确保在适当步长下的收敛性。
• 通过策略的高斯平滑引入平滑博弈$reve{G}^{ au}$，以确保有限方差、无偏的梯度估计器，并支持理论收敛性分析。
• 基于平滑博弈的拟凹性和事后梯度的利普希茨连续性，提出一个收敛的充分条件。
• 利用GPU加速，实现多个代理和策略配置下策略评估与梯度估计的并行化。

实验结果

研究问题

• RQ1 能否为具有连续动作和类型空间的贝叶斯博弈（特别是组合拍卖）开发一种通用且可扩展的均衡学习方法？
• RQ2 在大多数拍卖机制中收益函数不可微的情况下，如何应用梯度动力学？
• RQ3 通过进化策略实现的伪梯度估计器是否能在多智能体贝叶斯博弈中实现稳定且收敛的学习？
• RQ4 在何种条件下，该方法能在先验效用上收敛至近似贝叶斯纳什均衡？
• RQ5 该方法能否在基准拍卖设置中恢复已知的解析BNE，并在多样化的组合拍卖环境中实现泛化？

主要发现

• NPGA以概率1收敛至先验ϵ-贝叶斯纳什均衡，其中ϵ = Z(2L√dσ + δ)，Z、L、d和δ分别表示梯度利普希茨常数、策略网络利普希茨常数、最大网络维度和策略近似误差。
• 该方法在单件拍卖中成功恢复了已知的解析BNE，验证了其准确性和与理论基准的一致性。
• 在组合拍卖环境中，NPGA在各种小型和中型设置下均表现出快速且稳健的近似BNE收敛。
• 高斯平滑的使用使得伪梯度估计器具备有限方差和无偏性，这对理论收敛性至关重要，尽管拍卖结果不可微。
• 实证结果表明，NPGA在可扩展性和通用性方面优于先前方法，仅需拍卖结果评估，无需额外的问题特定子程序。
• 在较弱正则性条件下（包括事后梯度的利普希茨连续性和神经策略网络的通用逼近性）收敛保证成立。