[論文レビュー] An Empirical Study on Computing Equilibria in Polymatrix Games

Argyrios Deligkas, John Fearnley+2 more|arXiv (Cornell University)|Feb 22, 2016

Game Theory and Applications参考文献 44被引用数 8

ひとこと要約

本稿では、多行列ゲームにおける正確なナッシュ均衡を計算するためのレムケのアルゴリズムと、近似均衡を求める勾配降下法を、実験的に比較した研究を提示している。本研究では、レムケのアルゴリズムが大規模なゲームにおいて正確な均衡を効率的に計算できることを示し、一方で勾配降下法ははるかに大規模なゲームにスケーリング可能であり、$ε \leq 0.002$ の高品質な近似均衡を一貫して得られることを示している。

ABSTRACT

The Nash equilibrium is an important benchmark for behaviour in systems of strategic autonomous agents. Polymatrix games are a succinct and expressive representation of multiplayer games that model pairwise interactions between players. The empirical performance of algorithms to solve these games has received little attention, despite their wide-ranging applications. In this paper we carry out a comprehensive empirical study of two prominent algorithms for computing a sample equilibrium in these games, Lemke's algorithm that computes an exact equilibrium, and a gradient descent method that computes an approximate equilibrium. Our study covers games arising from a number of interesting applications. We find that Lemke's algorithm can compute exact equilibria in relatively large games in a reasonable amount of time. If we are willing to accept (high-quality) approximate equilibria, then we can deal with much larger games using the descent method. We also report on which games are most challenging for each of the algorithms.

研究の動機と目的

• 多行列ゲームにおける正確および近似均衡計算アルゴリズムの実用的性能を評価すること。
• 各アルゴリズムにとって最も困難なゲームクラスを特定すること。
• 現実世界のゲーム応用において、勾配降下法による近似均衡のスケーラビリティと品質を評価すること。
• 今後の多行列ゲームにおけるアルゴリズム開発のためのオープンソースのテストスイートを提供すること。
• 同定ルールやゲーム構造がアルゴリズムの性能に与える影響を理解すること。

提案手法

• レムケのアルゴリズムを用いて、多行列ゲームから導出された線形補完問題（LCP）を解き、正確なナッシュ均衡を計算する。
• 勾配降下に類似したアルゴリズムを用いて近似均衡を計算し、プレイヤーの戦略を繰り返し更新することで、逸脱のインcentiveを低減する。
• ステップサイズを制御するパラメータ $\delta$ を使用し、収束性と解の品質を向上させるためにラインサーチを導入する。
• 入札、ベイジアンゲーム、協力ゲームを含む12種類のゲームクラスにまたがる213,000件のゲームインスタンスの包括的ライブラリを用いる。
• Runtimeと近似品質を、多様なゲームタイプにわたり測定し、収束行動と異なる同定ルール下でのパフォーマンスについて詳細な分析を行う。
• すべての実装とゲームジェネレータは、再現性およびベンチマークの目的で http://polymatrix-games.github.io/ でオープンソース化されている。

実験結果

リサーチクエスチョン

• RQ1 多様な多行列ゲームクラスにおいて、レムケのアルゴリズムと勾配降下法の実行時間と解の品質の観点から、それぞれの性能はいかがなっているか？
• RQ2 入札における同定ルールなどのゲーム固有の特徴が、均衡計算の難易度に与える影響は何か？
• RQ3 正確な計算が非現実的となる大規模な多行列ゲームにおいて、勾配降下法は信頼性高く高品質な近似均衡（$\epsilon$-NE）を発見できるか？
• RQ4 なぜラインサーチを導入した勾配降下法のバージョンが、非ラインサーチバージョンよりも速度と解の品質の両面で優れているのか？
• RQ5 現実世界のゲーム構造（例：組み合わせ入札、ベイジアンブロットゲーム）は、均衡探索アルゴリズムのスケーラビリティとパフォーマンスにどの程度影響を与えるか？

主な発見

• レムケのアルゴリズムは、最大3000万報酬を含むゲームにおいて正確な均衡を計算でき、正確な手法における強力なスケーラビリティを示している。
• パラメータ $\delta = 0.001$ を用いた勾配降下法は、ほぼすべてのテストケースで $\epsilon$-NE（$\epsilon \leq 0.002$）を達成しており、高品質な近似を示している。
• 勾配降下法は概ね線形時間で実行され、$\delta = 0.1$ と $\delta = 0.001$ のそれぞれで決定係数 $R^2$ が0.88および0.96を示している。一方、レムケのアルゴリズムは2次スケーリングを示している。
• 勾配降下法にラインサーチを導入することで、速度と解の品質の両方が顕著に向上し、ラインサーチを用いたバージョンが非ラインサーチバージョンを上回っている。
• 2段階入札では、レムケのアルゴリズムが頻繁に純粋ナッシュ均衡を発見し、確率的同定ルールよりも決定論的同定ルールを用いることで実行時間が著しく短縮される。
• 観察された最悪の近似品質は、重み付き協力ゲームにおいて $0.1065$-NE であり、理論的上限の $0.5$ よりもはるかに優れている。