[論文レビュー] Strategy Improvement for Concurrent Safety Games

Krishnendu Chatterjee, Luca de Alfaro+1 more|ArXiv.org|Apr 29, 2008

Formal Methods in Verification参考文献 18被引用数 3

ひとこと要約

本稿では、並列安全ゲームにおける戦略改善アルゴリズムの初の提案を行い、メモリレスな確率的戦略を用いてゲームの価値への単調収束（下からの収束）を可能にする。この手法は、価値反復法や到達可能性戦略改善法と組み合わせることで、収束する下限と上限の境界を提供し、誤差推定を伴う実用的なゲーム価値の計算を可能にする。

ABSTRACT

We consider concurrent games played on graphs. At every round of the game, each player simultaneously and independently selects a move; the moves jointly determine the transition to a successor state. Two basic objectives are the safety objective: ``stay forever in a set F of states'', and its dual, the reachability objective, ``reach a set R of states''. We present in this paper a strategy improvement algorithm for computing the value of a concurrent safety game, that is, the maximal probability with which player 1 can enforce the safety objective. The algorithm yields a sequence of player-1 strategies which ensure probabilities of winning that converge monotonically to the value of the safety game. The significance of the result is twofold. First, while strategy improvement algorithms were known for Markov decision processes and turn-based games, as well as for concurrent reachability games, this is the first strategy improvement algorithm for concurrent safety games. Second, and most importantly, the improvement algorithm provides a way to approximate the value of a concurrent safety game from below (the known value-iteration algorithms approximate the value from above). Thus, when used together with value-iteration algorithms, or with strategy improvement algorithms for reachability games, our algorithm leads to the first practical algorithm for computing converging upper and lower bounds for the value of reachability and safety games.

研究の動機と目的

• 並列安全ゲームおよび到達可能性ゲームの価値に対する収束する上界と下界を計算する実用的アルゴリズムの欠如に対処すること。
• 並列安全ゲームの真の価値に向かって単調に下からの収束を達成する戦略改善アルゴリズムを開発すること。
• 価値反復法や到達可能性戦略改善法と組み合わせ、双方向収束と誤差推定を可能にすること。
• 収束保証と境界付きの実用的で効率的な並列安全ゲームの解法の基盤を構築すること。

提案手法

• アルゴリズムは、プレイヤー1のメモリレスで確率的な戦略の系列を生成し、安全目的を満たす確率を単調に改善する。
• 各戦略は、プレイヤー2の最良応答を想定したもとで、安全領域に留まる最悪ケース（ミニマックス）確率を最大化する手を逐次選択することで改善される。
• 改善プロセスは、プレイヤー2のすべての可能な応答に対する最小の勝利確率を追跡する価値関数を用い、反復的精錬によって更新される。
• 並列安全ゲームにはメモリレス最適戦略が存在することを活用し、有限回の反復で最適価値に収束することを保証する。
• 価値反復法（上からの収束）と互換性を持つように設計されており、ゲーム価値の双方向境界を可能にする。
• 有限個のメモリレス戦略と価値関数の単調改善のため、終了が保証され、確率の有理数表現に基づく境界が得られる。

実験結果

リサーチクエスチョン

• RQ1 決定的最適戦略が存在しない状況において、並列安全ゲームのための戦略改善アルゴリズムを設計可能か？
• RQ2 提案されたアルゴリズムは、真のゲーム価値に向かって勝利確率の単調収束（下からの収束）を保証するか？
• RQ3 このアルゴリズムは、既存の価値反復法や到達可能性戦略改善法と組み合わせることで、収束する上界と下界を生成可能か？
• RQ4 並列安全ゲームにおける戦略改善プロセスの計算量と終了境界は何か？
• RQ5 戦略改善と価値反復のみを用いて、実用的で誤差を伴う価値計算を達成可能か？

主な発見

• 提案された戦略改善アルゴリズムは、並列安全ゲームの価値への単調収束（下からの収束）を提供する初のものである。
• アルゴリズムは、プレイヤー1のメモリレスで確率的な戦略の系列を生成し、最適価値に収束させ、勝利確率に対する厳密に増加する下界を保証する。
• 価値反復アルゴリズム（上からの収束）や到達可能性戦略改善法と組み合わせることで、ゲーム価値の収束する上界と下界の最初の実用的計算が可能になる。
• 有限個のメモリレス戦略と価値関数の単調改善のため、アルゴリズムは有限時間で終了する。
• 2値のターンベース確率的ゲームでは、アルゴリズムは最大 $|S| imes 4^{|S_R|-1}$ ステップで終了し、$O(\text{min}\big"{\prod_{s\to S_1}|E(s)|, 2^{O(|\delta|)}}\big\} \cdot \text{poly}(|G|)$ の時間内に終了する。ここで $|\delta|$ は遷移関数のサイズである。
• この手法は、収束保証と誤差推定を伴う並列安全ゲームおよび到達可能性ゲームの実用的フレームワークを確立し、アルゴリズム的ゲーム理論における重要な空白を埋める。