[論文レビュー] The complexity of all-switches strategy improvement

John Fearnley, Rahul Savani|arXiv (Cornell University)|Jan 10, 2016

Artificial Intelligence in Games参考文献 38被引用数 7

ひとこと要約

この論文は、パリティゲーム、平均報酬ゲーム、割引報酬ゲーム、単純な確率的ゲームを含む複数のゲームタイプにおけるすべてのスイッチ戦略改善アルゴリズムの計算複雑性を調査する。エッジスイッチ問題と最適戦略問題の両方がPSPACE完全であることを証明し、広く使われているこのアルゴリズム的手法の根本的な複雑性の境界を確立する。

ABSTRACT

Strategy improvement is a widely-used and well-studied class of algorithms for solving graph-based infinite games. These algorithms are parametrized by a switching rule, and one of the most natural rules is all which switches as many edges as possible in each iteration. Continuing a recent line of work, we study all-switches strategy improvement from the perspective of computational complexity. We consider two natural decision problems, both of which have as input a game G, a starting strategy s, and an edge e. The problems are: 1. The edge switch problem, namely, is the edge e ever switched by all-switches strategy improvement when it is started from s on game G? 2. The optimal strategy problem, namely, is the edge e used in the final strategy that is found by strategy improvement when it is started from s on game G? We show PSPACE-completeness of the edge switch problem and optimal strategy problem for the following settings: Parity games with the discrete strategy improvement algorithm of Voge and Jurdzinski; mean-payoff games with the gain-bias algorithm [11, 33]; and discounted-payoff games and simple stochastic games with their standard strategy improvement algorithms. We also show PSPACE-completeness of an analogous problem to edge switch for the bottom-antipodal algorithm for Acyclic Unique Sink Orientations on Cubes.

研究の動機と目的

• グラフに基づく無限ゲームにおけるすべてのスイッチ戦略改善アルゴリズムの計算複雑性を分析すること。
• アルゴリズムの実行中に特定のエッジがいつでもスイッチされるかどうかを問う、エッジスイッチ問題を定義すること。
• 与えられたエッジがアルゴリズムによって生成される最終的な最適戦略に含まれるかどうかを評価すること、すなわち最適戦略問題を定義すること。
• 立方体上の巡回的で一意のシンク方向付きの方向（Acyclic Unique Sink Orientations）に対するボトムアンチポーラルアルゴリズムへの複雑性解析を拡張すること。
• パリティ、平均報酬、割引報酬、単純な確率的ゲームを含む複数のゲームクラスにおいて、両方の意思決定問題がPSPACE完全であることを確立すること。

提案手法

• 各イテレーションで可能な限り多くのエッジをスイッチすることで戦略改善を最大化するプロセスとして、すべてのスイッチ戦略改善アルゴリズムを形式化すること。
• 難易度を示すために、既知のPSPACE完全問題をエッジスイッチ問題および最適戦略意思決定問題へ還元すること。
• 両方の意思決定問題がPSPACEに属することを示すために、PSPACE完全問題からの多項式時間還元を構築すること。
• VogeとJurdzinskiの離散戦略改善アルゴリズムを用いて、パリティゲームにおける戦略改善経路の構造を分析すること。
• ゲインバイアスアルゴリズムを用いて平均報酬ゲームへの複雑性解析を拡張すること。
• 割引報酬ゲームおよび単純な確率的ゲームには、それぞれの標準戦略改善アルゴリズムを用いて複雑性解析を拡張すること。
• 同様の技術を立方体上の巡回的で一意のシンク方向付きの方向に対するボトムアンチポーラルアルゴリズムに適用し、類似のPSPACE完全性を証明すること。

実験結果

リサーチクエスチョン

• RQ1 すべてのスイッチ戦略改善の実行中に特定のエッジがいつでもスイッチされるかどうかを問うエッジスイッチ問題は、PSPACE完全か？
• RQ2 最終戦略に特定のエッジが含まれるかどうかを問う最適戦略問題は、PSPACE完全か？
• RQ3 PSPACE完全性の結果は、立方体上の巡回的で一意のシンク方向付きの方向に対するボトムアンチポーラルアルゴリズムへ拡張可能か？
• RQ4 パリティ、平均報酬、割引報酬、単純な確率的ゲームを含む異なるゲームタイプにおいて、複雑性の結果は一貫しているか？
• RQ5 すべてのスイッチ戦略改善アルゴリズムにおけるエッジ使用の予測や検証は、実行中に効率的に可能か？

主な発見

• VogeとJurdzinskiの離散戦略改善アルゴリズムを用いたパリティゲームにおいて、エッジスイッチ問題はPSPACE完全である。
• ゲインバイアスアルゴリズムを用いた平均報酬ゲームにおいて、最適戦略問題はPSPACE完全である。
• 割引報酬ゲームおよび単純な確率的ゲームにおいて、標準戦略改善アルゴリズムを用いて、エッジスイッチ問題と最適戦略問題の両方がPSPACE完全である。
• 巡回的で一意のシンク方向付きの方向に対するボトムアンチポーラルアルゴリズムに対しても、PSPACE完全性の結果が拡張可能である。
• 複数のゲームクラスにわたり、複雑性の結果が成り立つことから、すべてのスイッチ戦略改善におけるエッジ行動の予測には根本的な計算的障壁があることが示された。
• 単一のエッジがいつでもスイッチされるか、または最終戦略に含まれるかを決定することですら、最悪ケースでは計算的に非効率であることが確立された。