[論文レビュー] Extensive-Form Game Imperfect-Recall Abstractions With Bounds.

Christian Kroer, Tüomas Sandholm|arXiv (Cornell University)|Sep 11, 2014

Artificial Intelligence in Games参考文献 27被引用数 6

ひとこと要約

本稿は、完全記憶のない抽象化におけるナッシュ均衡および近似自己震え均衡の一般化された、アルゴリズムに依存しない解の品質保証を初めて提示する。抽象化を、新しい距離関数を用いたクラスタリング問題に還元することで、解の品質誤差を保証する最初の不完全記憶のない抽象化アルゴリズムを実現し、入力空間が距離空間を形成する条件を確立する。

ABSTRACT

Imperfect-recall abstraction has emerged as the leading paradigm for practical large-scale equilibrium computation in incomplete-information games. However, imperfect-recall abstractions are poorly understood, and only weak algorithm-specific guarantees on solution quality are known. In this paper, we show the first general, algorithm-agnostic, solution quality guarantees for Nash equilibria and approximate self-trembling equilibria computed in imperfect-recall abstractions, when implemented in the original (perfect-recall) game. Our results are for a class of games that generalizes the only previously known class of imperfect-recall abstractions where any results had been obtained. Further, our analysis is tighter in two ways, each of which can lead to an exponential reduction in the solution quality error bound. We then show that for extensive-form games that satisfy certain properties, the problem of computing a bound-minimizing abstraction for a single level of the game reduces to a clustering problem, where the increase in our bound is the distance function. This reduction leads to the first imperfect-recall abstraction algorithm with solution quality bounds. We proceed to show a divide in the class of abstraction problems. If payoffs are at the same scale at all information sets considered for abstraction, the input forms a metric space. Conversely, if this condition is not satisfied, we show that the input does not form a metric space. Finally, we use these results to experimentally investigate the quality of our bound for single-level abstraction.

研究の動機と目的

• 大規模な不完全情報ゲームにおける完全記憶のない抽象化の一般化された解の品質保証の欠如に対処する。
• 元の完全記憶のゲームに戻した際に、完全記憶のない抽象化で計算された均衡の解の品質に対する一般的でアルゴリズムに依存しない境界を提供する。
• 従来の研究で検討されたケースを超えて、このような保証が有効となるゲームのクラスを一般化する。
• 抽象化の品質とクラスタリングの間の関係を確立し、誤差境界が入力空間における距離関数に対応することを示す。
• 異なる報酬スケーリング条件における抽象化入力の距離空間の性質を調査する。

提案手法

• 従来の研究を拡張する一般化された広範な形式ゲームのクラスを定義し、解の品質境界の適用範囲を広げる。
• 抽象化による解の品質誤差の増加を測定する新しい距離関数を導入し、境界最小化の根拠を提供する。
• 定義された距離関数を用いて、1レベルの抽象化における境界最小化の計算問題をクラスタリング問題に還元する。
• 報酬が情報集合間で同じスケールにある場合、入力空間が距離空間を形成することを証明する。それ以外の場合は、距離空間を形成しない。
• クラスタリング還元を活用して、解の品質境界が保証される最初の不完全記憶のない抽象化アルゴリズムを設計する。
• 実験的評価を通じて、単一レベルの抽象化における導出された誤差境界のきつさを評価する。

実験結果

リサーチクエスチョン

• RQ1 完全記憶のない抽象化におけるナッシュ均衡および近似自己震え均衡の一般的でアルゴリズムに依存しない解の品質境界を確立できるか？
• RQ2 抽象化における解の品質誤差を最小化する問題は、明確に定義された距離関数を用いたクラスタリング問題に還元できるか？
• RQ3 抽象化の入力空間が距離空間を形成する条件は何か？
• RQ4 情報集合間での報酬スケーリングが、抽象化入力の距離空間構造にどのように影響するか？
• RQ5 単一レベルの抽象化において、導出された誤差境界は実際のところどれほどきついか？

主な発見

• 本稿は、従来の結果よりも広いクラスのゲームに適用可能な、完全記憶のない抽象化で計算された均衡に対する最初の一般的でアルゴリズムに依存しない解の品質保証を確立した。
• 解の品質誤差境界は、2つの点で従来の結果よりもきつくなり、誤差境界を指数関数的に削減する可能性がある。
• 境界最小化の抽象化を計算する問題は、解の品質誤差の増加に対応する距離関数を持つクラスタリング問題に還元できる。
• 報酬が情報集合間で同じスケールにある場合、抽象化の入力空間は距離空間を形成する。それ以外の場合は、距離空間を形成しない。
• 提案された抽象化アルゴリズムは、解の品質境界が保証される最初のものであり、広範な形式ゲームにおける理論的根拠に基づく抽象化を可能にする。
• 実験的評価により、導出された境界が非自明であり、単一レベルの抽象化に対して意味のある誤差推定を提供することが示された。