[論文レビュー] Strategy Improvement for Concurrent Reachability and Safety Games

Krishnendu Chatterjee, Luca de Alfaro+1 more|arXiv (Cornell University)|Jan 13, 2012

Formal Methods in Verification参考文献 24被引用数 4

ひとこと要約

本稿では、同時到達可能性および安全ゲームにおける戦略改善アルゴリズムを提示し、ゲーム価値へ片側および反対側からの単調収束を可能にしている。反復的改善を用いたメモリレスなε最適戦略の近似のための最初の実用的手法を確立し、従来の価値反復法が片側からの収束しか行わず、証拠戦略を欠いていたという課題を解決している。

ABSTRACT

We consider concurrent games played on graphs. At every round of a game, each player simultaneously and independently selects a move; the moves jointly determine the transition to a successor state. Two basic objectives are the safety objective to stay forever in a given set of states, and its dual, the reachability objective to reach a given set of states. First, we present a simple proof of the fact that in concurrent reachability games, for all $ε>0$, memoryless $ε$-optimal strategies exist. A memoryless strategy is independent of the history of plays, and an $ε$-optimal strategy achieves the objective with probability within $ε$ of the value of the game. In contrast to previous proofs of this fact, our proof is more elementary and more combinatorial. Second, we present a strategy-improvement (a.k.a.\ policy-iteration) algorithm for concurrent games with reachability objectives. We then present a strategy-improvement algorithm for concurrent games with safety objectives. Our algorithms yield sequences of player-1 strategies which ensure probabilities of winning that converge monotonically to the value of the game. Our result is significant because the strategy-improvement algorithm for safety games provides, for the first time, a way to approximate the value of a concurrent safety game from below. Previous methods could approximate the values of these games only from one direction, and as no rates of convergence are known, they did not provide a practical way to solve these games.

研究の動機と目的

• 同時到達可能性ゲームの価値へ、下からの単調収束を達成する戦略改善アルゴリズムの開発を目的とする。
• 既存手法に欠如していた点を補うために、安全ゲームの価値を下から近似する戦略改善アルゴリズムを設計することを目的とする。
• 複雑な不動点定理に依存せずに、組合せ的議論を用いて、同時到達可能性ゲームにおけるメモリレスなε最適戦略の存在を証明することを目的とする。
• 全探索や価値反復法の限界を克服し、同時ゲームにおけるε最適戦略の実用的かつ効率的な近似法を提供することを目的とする。
• 双対評価列に基づく終了基準を確立し、反復回数が有界な範囲内でε近似を保証することを目的とする。

提案手法

• プレイヤー1の評価値が単調非減少となるように、ゲーム価値へ収束する同時到達可能性ゲームのための戦略改善アルゴリズムを提案する。
• プレイヤー2の戦略を改善することで、プレイヤー1の安全目的の評価値が単調非減少となる双対戦略改善アルゴリズムを導入する。
• 到達可能性と安全目的のための双対評価列（u_i, v_i）を用い、u_iは安全価値の推定値、v_iは到達可能性価値の推定値を表す。
• u_i + v_i ≥ 1 - ε という条件を停止基準として用い、両方のゲーム価値が同時にε近似されることを保証する。
• k-一様メモリレス戦略を用いて探索空間を制限し、反復回数に二重指数関数的上限を課すことで有限収束を実現する。
• k-一様戦略の抽象化により、同時ゲームをターンベースの確率的ゲームに還元し、後者に既知の終了境界を活用する。

実験結果

リサーチクエスチョン

• RQ1 安全ゲームにおける戦略改善アルゴリズムを設計できるか。その収束は、ゲーム価値へ下からの単調収束を達成するか。
• RQ2 不動点や線形計画法に依存せず、組合せ的証明により、同時到達可能性ゲームにおけるメモリレスなε最適戦略の存在を示せるか。
• RQ3 全探索よりも効率的に、戦略改善アルゴリズムを用いて同時ゲームにおけるε最適戦略を近似できるか。
• RQ4 双対評価列を用いた場合、どのような終了条件がゲーム価値のε近似を保証するか。
• RQ5 同時ゲームにおける戦略改善アルゴリズムの計算複雑度は何か。また、価値反復法や全探索法と比較してどうなるか。

主な発見

• 同時到達可能性ゲームにおけるメモリレスなε最適戦略の存在を示す、新たな素朴な組合せ的証明が提供された。
• 同時到達可能性ゲームにおける戦略改善アルゴリズムは、ゲーム価値へ収束する単調非減少評価値の列を生成する。
• 安全ゲームにおいて、本稿のアルゴリズムは、価値を下から近似する最初の手法であり、ε近似戦略の実用的計算を可能にする。
• アルゴリズムは u_i + v_i ≥ 1 - ε に達した段階で終了し、u_i と v_i が真のゲーム価値からε以内に収束していることを保証する。ここで u_i ≤ ⟨1⟩_val(Safe(F)) ≤ 1 - u_i が成り立つ。
• 反復回数はゲームサイズの二重指数関数的関数で上限が与えられ、最近の結果によればこれはほぼ最適である。
• 本手法は、k が (1/ε)^{2^{O(|G|)}} で有界な k-一様メモリレス戦略を提供する証拠戦略を備えており、効率的なε近似を可能にする。