[論文レビュー] Equilibrium Learning in Combinatorial Auctions: Computing Approximate Bayesian Nash Equilibria via Pseudogradient Dynamics

Stefan Heidekrüger, Paul Sutterer+3 more|arXiv (Cornell University)|Jan 28, 2021

Auction Theory and Applications参考文献 30被引用数 6

ひとこと要約

本稿では、戦略をニューラルネットワークとして表現し、自己対戦における進化的戦略に基づく疑似勾配推定を用いることで、組み合わせオークションにおける近似ベイズ・ネッシュ均衡（BNE）をスケーラブルかつ微分可能に計算する、Neural Pseudogradient Ascent（NPGA）を提案する。本手法は、多様なオークション環境において、事前（ex-ante）ϵ-BNEへの高速かつ安定した収束を達成し、ややきつい正則性条件のもとで理論的収束保証を有する。

ABSTRACT

Applications of combinatorial auctions (CA) as market mechanisms are prevalent in practice, yet their Bayesian Nash equilibria (BNE) remain poorly understood. Analytical solutions are known only for a few cases where the problem can be reformulated as a tractable partial differential equation (PDE). In the general case, finding BNE is known to be computationally hard. Previous work on numerical computation of BNE in auctions has relied either on solving such PDEs explicitly, calculating pointwise best-responses in strategy space, or iteratively solving restricted subgames. In this study, we present a generic yet scalable alternative multi-agent equilibrium learning method that represents strategies as neural networks and applies policy iteration based on gradient dynamics in self-play. Most auctions are ex-post nondifferentiable, so gradients may be unavailable or misleading, and we rely on suitable pseudogradient estimates instead. Although it is well-known that gradient dynamics cannot guarantee convergence to NE in general, we observe fast and robust convergence to approximate BNE in a wide variety of auctions and present a sufficient condition for convergence

研究の動機と目的

• 連続的なタイプ空間および行動空間を有する組み合わせオークションにおけるベイズ・ネッシュ均衡（BNE）を計算するためのスケーラブルな数値的手法の不足に応えること。
• 事後（ex-post）オークション報酬の非微分可能性により、標準的な勾配法が直接適用できない問題を克服すること。
• 問題固有のサブルーチンを必要とせず、オークションの結果評価のみで動作する汎用的かつハードウェアアクセラレーションを活用した均衡学習フレームワークを構築すること。
• 勾配のリプシッツ連続性および方策の万能近似可能性といったややきつい正則性条件下で、近似BNEへの理論的収束を確立すること。
• 単一アイテムオークションおよび組み合わせオークションにおいて、実験的に手法を検証し、既知の解析的BNEを回復し、収束の安定性を示すこと。

提案手法

• エージェントの戦略をニューラルネットワークとして表現することで、私的評価価値上での連続的入札関数をパラメータ化する。
• 自己対戦において、進化的戦略（ES）に基づく疑似勾配推定を用いた方策勾配更新を採用し、非微分可能なオークション結果にもかかわらず勾配計算を可能にする。
• ユークリッド正則化を用いた二重平均法を用いて、滑らか化された事前効用関数におけるオンライン勾配上昇を実装し、適切なステップサイズのもとで収束を保証する。
• 戦略のガウス平滑化により滑らかなゲーム $reve{G}^{ au}$ を導入し、有限分散かつ不偏な勾配推定器を確保するとともに、理論的収束解析を可能にする。
• 滑らかなゲームの凹性および事中（ex-interim）勾配のリプシッツ連続性に基づく収束の十分条件を適用する。
• GPUアクセラレーションを活用し、複数のエージェントおよび戦略プロファイルにわたる方策評価と勾配推定を並列化する。

実験結果

リサーチクエスチョン

• RQ1 連続的行動空間およびタイプ空間を有するベイジアンゲーム、特に組み合わせオークションにおいて、汎用的かつスケーラブルな均衡学習手法を開発できるか？
• RQ2 ほとんどのオークションメカニズムにおいて報酬関数が微分不能である場合、勾配ダイナミクスをどのように適用できるか？
• RQ3 進化的戦略に基づく疑似勾配推定器の使用が、マルチエージェントベイジアンゲームにおける安定的かつ収束的学習を可能にするか？
• RQ4 どのような条件下で、このような手法が事前効用における近似ベイズ・ネッシュ均衡に収束するか？
• RQ5 本手法は、ベンチマークオークション設定において既知の解析的BNEを回復できるか、多様な組み合わせオークション環境に一般化できるか？

主な発見

• NPGAは、ほぼ確実に、ϵ = Z(2L√dσ + δ) における事前ϵ-ベイズ・ネッシュ均衡に収束する。ここで、Z, L, d, δ はそれぞれ勾配のリプシッツ定数、方策ネットワークのリプシッツ定数、最大ネットワーク次元、方策近似誤差を表す。
• 単一アイテムオークションにおいて、既知の解析的BNEを正確に回復し、理論的ベンチマークとの整合性を検証した。
• 組み合わせオークション環境において、NPGAは小規模および中規模の設定において、幅広い範囲で近似BNEへの高速かつ安定した収束を示した。
• ガウス平滑化の使用により、有限分散かつ不偏な疑似勾配推定器が得られ、非微分可能なオークション結果にもかかわらず理論的収束解析が可能になった。
• 実験結果から、NPGAは、問題固有のサブルーチンをオークション結果評価のみに限定する以前の手法を上回るスケーラビリティと汎用性を示した。
• 勾配のリプシッツ連続性およびニューラル方策ネットワークの万能近似可能性といったややきつい正則性条件下で、収束保証が成立する。