[論文レビュー] Strategy Iteration using Non-Deterministic Strategies for Solving Parity Games

van Dijk, Tom, Loho, Georg+1 more|arXiv (Cornell University)|Jun 18, 2008

Robotic Path Planning Algorithms参考文献 13被引用数 10

ひとこと要約

本稿は、パリティゲームを解くための戦略反復を、非決定的戦略への拡張によって発展させた。非決定的戦略では、プレイヤーが固定された行動ではなく、空でない移動集合から選択する。Björkland らの戦略改善フレームワークを適応し、'すべての利益をもたらすスイッチ'のヒューリスティクスが局所的に最適な改善をもたらすことを示した。これにより、以前は確率的化によってのみ達成可能だった O(1.724^n) の改善ステップ数の上界が、Jurdzinski と Vöge のアルゴリズムと共有される評価値を介して、依然として互換性を保ちながら決定的かつ達成可能となった。

ABSTRACT

Symmetric strategy improvement is an algorithm introduced by Schewe et al. (ICALP 2015) that can be used to solve two-player games on directed graphs such as parity games and mean payoff games. In contrast to the usual well-known strategy improvement algorithm, it iterates over strategies of both players simultaneously. The symmetric version solves the known worst-case examples for strategy improvement quickly, however its worst-case complexity remained open. We present a class of worst-case examples for symmetric strategy improvement on which this symmetric version also takes exponentially many steps. Remarkably, our examples exhibit this behaviour for any choice of improvement rule, which is in contrast to classical strategy improvement where hard instances are usually hand-crafted for a specific improvement rule. We present a generalized version of symmetric strategy iteration depending less rigidly on the interplay of the strategies of both players. However, it turns out it has the same shortcomings.

研究の動機と目的

• パリティゲームの戦略反復を、プレイヤーが移動の空でない部分集合から選択する非決定的戦略へ一般化すること。
• 非決定的設定において 'すべての利益をもたらすスイッチ' ヒューリスティクスが局所的に最適な戦略改善をもたらすことを示すこと。
• プレイヤー0が脱出を許可するアリーナにおいて、提案されたアルゴリズムと Jurdzinski と Vöge のアルゴリズムとの間で評価関数が同等であることを確立すること。
• 非決定的戦略とヒューリスティクスを用いた場合に、改善ステップ数の新しい上界 O(1.724^n) を証明すること。これは、従来の決定的境界を改善するものである。

提案手法

• 各頂点で後続移動の空でない部分集合に制限することで、非決定的戦略を導入し、決定的戦略選択の一般化を実現する。
• Björkland, Sandberg, および Vorobyov の戦略改善フレームワークを非決定的戦略に適応し、'降伏'をモデル化するためのシンクノード (⊥) を用いて、敗北プレイからの脱出を可能にする。
• パスプロファイルと一般化された色プロファイルを用いて評価値を計算し、Jurdzinski と Vöge のアルゴリズムの手法と整合させる。
• すべての利益をもたらすスイッチのヒューリスティクスを適用し、評価値を向上させるすべての戦略改善を選択することで、局所的に最適な次回の戦略を保証する。
• Schewe の最適化が指摘したように、Dijkstra のアルゴリズムを用いて効率的な評価値計算を実現する。
• 本研究で用いられる評価値が、プレイヤー0がシンクノードに脱出可能なアリーナにおいて Jurdzinski と Vöge のアルゴリズムの評価値と同一であることを証明し、直接的な比較と検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パリティゲームの戦略反復を、収束保証や効率性を損なわずに非決定的戦略へ一般化することは可能か？
• RQ2 非決定的設定における 'すべての利益をもたらすスイッチ' ヒューリスティクスは局所的に最適な改善をもたらすか？また、Schewe のアルゴリズムのような既知のアルゴリズムを再現するのに使用可能か？
• RQ3 プレイヤー0がシンクノードに脱出可能な場合、本研究で用いられる評価関数は Jurdzinski と Vöge のアルゴリズムの評価関数と同等か？
• RQ4 確率的化を用いずに、決定的戦略改善アルゴリズムが O(1.724^n) の改善ステップ数の上界を達成可能か？

主な発見

• 非決定的戦略と 'すべての利益をもたらすスイッチ' ヒューリスティクスを用いた本研究の戦略反復アルゴリズムは、改善ステップ数に O(1.724^n) の上界を達成しており、これは現在知られている最良の決定的境界である。
• プレイヤー0が降伏を許可するパリティゲームのアリーナにおいて、本研究で用いられる評価関数は Jurdzinski と Vöge のアルゴリズムの評価関数と同一であり、直接的な比較と検証が可能である。
• 本研究のアルゴリズムは、中間の還元を経由せず、直接的にパリティゲーム上で動作する点で Jurdzinski と Vöge の手法を一般化しており、同じ漸近的複雑度境界を維持している。
• すべての利益をもたらすスイッチを選択するヒューリスティクスは、各ステップで局所的に最適な戦略をもたらし、自然かつ効率的な改善メカニズムを提供する。
• 本研究のアルゴリズムは、シュウェーのアルゴリズムの精神を再現しており、元の定式化よりも明確かつアクセスしやすい形で提示されている。
• O(1.724^n) の境界は、以前は確率的化を用いてのみ達成可能であったが、本研究では決定的に達成可能であり、決定的戦略反復分野における顕著な進歩を示している。