[論文レビュー] Learning Equilibria of Games via Payoff Queries

John Fearnley, Martin Gairing+2 more|arXiv (Cornell University)|Feb 13, 2013

Game Theory and Applications参考文献 37被引用数 6

ひとこと要約

本稿は、特定の戦略的対象についての報酬を照会する方法（報酬照会）を用いて、ゲームにおけるナッシュ均衡を計算的学習するモデルを提示する。報酬照会とは、アルゴリズムが特定の戦略的対象について報酬を照会する仕組みである。本稿は、2人行列ゲーム、グラフィカルゲーム、対称的ネットワーク混雑ゲームにおいて、正確な均衡および近似均衡の照会複雑度の境界を確立し、特に有向非巡回ネットワークおよび並列リンク混雑ゲームのような構造的ゲームでは、均衡が部分線形の照会数で学習可能であることを示している。

ABSTRACT

A recent body of experimental literature has studied empirical game-theoretical analysis, in which we have partial knowledge of a game, consisting of observations of a subset of the pure-strategy profiles and their associated payoffs to players. The aim is to find an exact or approximate Nash equilibrium of the game, based on these observations. It is usually assumed that the strategy profiles may be chosen in an on-line manner by the algorithm. We study a corresponding computational learning model, and the query complexity of learning equilibria for various classes of games. We give basic results for bimatrix and graphical games. Our focus is on symmetric network congestion games. For directed acyclic networks, we can learn the cost functions (and hence compute an equilibrium) while querying just a small fraction of pure-strategy profiles. For the special case of parallel links, we have the stronger result that an equilibrium can be identified while only learning a small fraction of the cost values.

研究の動機と目的

• 報酬照会のみを用いて均衡を学習する計算モデルを形式化し、アルゴリズムが戦略的対象を提示することで報酬を学習する仕組みを定義する。
• さまざまなゲームクラスにおいて、正確な均衡および近似均衡を計算するために必要な照会数（照会複雑度）を分析する。
• 特に、コン pact 表現を持つゲームにおいて、全列挙に比べて著しく少ない照会数で均衡が得られるかどうかを特定する。
• 報酬照会アルゴリズムの理論的限界を探索し、最良応答照会やノイズあり照会などの他の照問モデルと比較する。
• 特に、有向非巡回グラフ（DAG）および並列リンクにおける対称的ネットワーク混雑ゲームにおいて、部分線形照問複雑度で均衡が学習可能となる条件を同定する。

提案手法

• アルゴリズムが純粋戦略的対象を選択し、すべてのプレイヤーの対応する報酬を受信する報酬照問モデルを提案する。
• 2人行列ゲームにおいて、正確な均衡および近似均衡を計算するために必要な報酬照問数の上界および下界を確立する。
• 有向非巡回ネットワーク（DAG）上の対称的ネットワーク混雑ゲームにおいて、コスト関数を学習し、均衡を計算するには純粋戦略的対象の小さな部分集合で十分であることを示す。
• 並列リンク混雑ゲームにおいて、構造の単純さを活かして、コスト値の小さな部分集合を学習するだけで均衡を特定できることを証明する。
• 2種類の照問を導入する：通常照問（総負荷 = n）と低負荷照問（総負荷 < n）、通常照問は標準的な報酬照問をモデル化する。
• 組合せ論的および情報理論的技法を用いて、特に固定された ε に対する近似均衡の照問複雑度の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 2人行列ゲームおよびグラフィカルゲームにおいて、正確なナッシュ均衡を計算するために必要な最小の報酬照問数は何か？
• RQ2 ε が定数（例：ε < 1/2）である場合、2人行列ゲームにおいて ε-ナッシュ均衡を部分線形照問複雑度で計算可能か？
• RQ3 DAG 上の対称的ネットワーク混雑ゲームにおける正確な均衡の照問複雑度は何か？
• RQ4 混雑ゲームにおいて、プレイヤー数（n）および戦略数（m）が増加するに従って、照問複雑度はどのように変化するか？
• RQ5 最良応答照問やノイズあり報酬照問が、報酬照問よりも照問複雑度の観点で優れているゲームクラスは存在するか？

主な発見

• DAG 上の対称的ネットワーク混雑ゲームにおいて、コスト関数（そしてしたがって均衡）は、純粋戦略的対象の小さな部分集合のみを用いて学習可能である。
• 並列リンクの特別な場合において、コスト値の小さな部分集合を学習するだけで均衡を特定でき、強い部分線形照問複雑度を示している。
• 2人行列ゲームにおいて、ε が k に依存する場合、報酬照問複雑度に超線形の下界が存在し、(1−1/i)-ナッシュ均衡の照問複雑度には、k−i+1 から 2k−i+1 の間のギャップが存在することが特定された。
• 定数 ε < 1/2 に対する2人行列ゲームの近似均衡の照問複雑度は、特に決定的設定において未解決のまま残っている。
• m 個のリンクと n プレイヤーを持つ混雑ゲームにおいて、照問複雑度の上界は O(log(n)·log²(m)/log log(m) + m) であり、Ω(log n + m) の下界と多対数的要因の範囲内にある。
• 本稿は、混雑ゲームの上界と下界のギャップを埋めるために、n と m に依存する単一の下界構成が必要であると特定した。