[論文レビュー] Approximating Nash Equilibria for Black-Box Games: A Bayesian Optimization Approach

Abdullah Al-Dujaili, Erik Hemberg+1 more|arXiv (Cornell University)|Apr 27, 2018

Gaussian Processes and Bayesian Inference参考文献 6被引用数 3

ひとこと要約

本稿では、評価がノイズが多く高価なブラックボックス連続ゲームにおいてナッシュ均衡を近似するためのベイジアン最適化フレームワークBNを提案する。ハイアラルキー的または離散化された手法とは異なり、BNはガウス過程を用いて連続戦略空間全体のゲームを同時に学習し、レジットを推定することで、25回未満の関数評価で高次元かつノイズが多い設定において顕著に低いレジットを達成する。

ABSTRACT

Game theory has emerged as a powerful framework for modeling a large range of multi-agent scenarios. Many algorithmic solutions require discrete, finite games with payoffs that have a closed-form specification. In contrast, many real-world applications require modeling with continuous action spaces and black-box utility functions where payoff information is available only in the form of empirical (often expensive and/or noisy) observations of strategy profiles. To the best of our knowledge, few tools exist for solving the class of expensive, black-box continuous games. In this paper, we develop a method to find equilibria for such games in a sequential decision-making framework using Bayesian Optimization. The proposed approach is validated on a collection of synthetic game problems with varying degree of noise and action space dimensions. The results indicate that it is capable of improving the maximum regret in noisy and high dimensions to a greater extent than hierarchical or discretized methods.

研究の動機と目的

• 報酬評価が高価でノイズが多い連続的ブラックボックスゲームにおけるナッシュ均衡を求めるスケーラブルで汎用的な手法の不足に対処すること。
• 戦略空間の二重最適化や粗い離散化に依存する既存手法の制限を克服すること。
• グリッド制約なしに、完全な連続的アクション空間上で直接動作するフレームワークの開発。
• 最先端のベースラインと比較して、高次元およびノイズが多いゲーム環境におけるレジット最小化の改善。
• 再現可能性と実験的ゲーム理論研究分野への広範な採用を促進するための公開実装の提供。

提案手法

• 未知の報酬関数に対する確率的推論を可能にするために、各プレイヤーの報酬関数をガウス過程（GPs）でモデル化する。
• 反復的最適応答ダイナミクスではなく、学習済みGPの事後平均を最適化することで、最適応答を近似する。
• 二重最適化ループを避けるために、連携戦略空間上の平坦な単一レベル最適化問題として均衡探索を定式化する。
• 探索と活用のバランスを取るために、戦略プロファイルの逐次的サンプリングを誘導する獲得関数（例：期待改善）を用いる。
• 正確な最適応答報酬とノイズを含む近似報酬の両方を用いてゲーム理論的レジットを推定し、後者により探索性を高める。
• 新しい報酬観測でGPモデルを繰り返し更新し、収束または予算の期限到達まで均衡推定値を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化フレームワークは、報酬評価が高価でノイズが多い連続的ブラックボックスゲームにおいて、ナッシュ均衡を効果的に近似できるか？
• RQ2 ノイズと高次元性の下で、提案手法BNのレジット最小化性能は、階層的または離散化された手法（例：GPG）と比較してどうなるか？
• RQ3 ノイズを含むレジット近似を用いることで、正確なレジット計算と比較して探索性が向上し、収束性が改善されるか？
• RQ4 ナッシュ均衡がグリッドからずれている場合、連続的戦略空間表現はグリッドベース手法に比べてどの程度優れているか？
• RQ5 合成ゲーム環境において、次元数と関数評価回数の増加に伴い、この手法はどのようにスケーリングするか？

主な発見

• 25回以上の関数評価では、BNはGPGおよびBR手法と比較して、ノイズが多く高次元なゲームにおいて顕著に低いレジットを達成し、最終的なレジット水準を低く抑える。
• ノイズを含むレジット近似を用いるBN-approxバージョンは、ほとんどの設定でBN-exactを上回る性能を示し、ノイズが探索性を高め収束性を改善することを示唆する。
• ずれたナッシュ均衡シナリオ（例：Saddle.1およびSaddle.2）では、BNはグリッド離散化に縛られるGPGバージョンを一貫して上回り、グリッド外の均衡に適応できないという欠点を克服する。
• GPGのグリッドサイズ（例：11×11）を上回る関数評価回数でも、BNは低レジットを維持する。これは、優れたスケーラビリティと適応性を示している。
• 細かいGPGグリッド（例：93×93）で発生するメモリ割り当てエラーを回避しながらも、BNはより優れたレジット性能を達成する。
• MOPゲームでは、BN-approxは8回の独立実験において平均レジットが最低であり、誤差帯から安定した収束が示された。