[論文レビュー] Robustness of Structurally Equivalent Concurrent Parity Games

Krishnendu Chatterjee|arXiv (Cornell University)|Jan 1, 2011

Logic, Reasoning, and Knowledge参考文献 23被引用数 1

ひとこと要約

本稿は、遷移確率の小さな摂動下における、並列的およびターンベースの確率的パリティゲームにおける価値関数のロバストネスに関する定量的境界を確立する。構造的同値性（遷移のサポートが同一だが確率が異なる）の下で価値連続性が成り立つことを証明し、価値の差が確率距離と状態空間サイズの関数として有界であることを示している。この境界は漸近的に最適であることを示している。

ABSTRACT

We consider two-player stochastic games played on a finite state space for an infinite number of rounds. The games are concurrent: in each round, the two players (player 1 and player 2) choose their moves independently and simultaneously; the current state and the two moves determine a probability distribution over the successor states. We also consider the important special case of turn-based stochastic games where players make moves in turns, rather than concurrently. We study concurrent games with ω-regular winning conditions specified as parity objectives. The value for player 1 for a parity objective is the maximal probability with which the player can guarantee the satisfaction of the objective against all strategies of the opponent. We study the problem of continuity and robustness of the value function in concurrent and turn-based stochastic parity gameswith respect to imprecision in the transition probabilities. We present quantitative bounds on the difference of the value function (in terms of the imprecision of the transition probabilities) and show the value continuity for structurally equivalent concurrent games (two games are structurally equivalent if the support of the transition function is same and the probabilities differ). We also show robustness of optimal strategies for structurally equivalent turn-based stochastic parity games. Finally we show that the value continuity property breaks without the structurally equivalent assumption (even for Markov chains) and show that our quantitative bound is asymptotically optimal. Hence our results are tight (the assumption is both necessary and sufficient) and optimal (our quantitative bound is asymptotically optimal).

研究の動機と目的

• 遷移確率が不正確に知られている場合の、並列的およびターンベースの確率的パリティゲームにおける価値関数のロバストネスを調査すること。
• 価値関数が遷移確率の小さな変化に対して連続となる条件を特定すること。
• 最適戦略が遷移確率の小さな摂動においても近似的に最適のままであるかどうかを検討すること。
• 特に構造的同値性の役割を含め、価値連続性の必要十分条件を確立すること。
• 導出された定量的境界が、小規模な摂動において漸近的に最適であることを示し、確率的ゲームにおけるロバストネスの理論的理解のギャップを埋めること。

提案手法

• 遷移サポートが同一だが確率が異なる構造的同値なゲーム構造を定義する。
• 2つのゲーム構造間の絶対距離 distA(G1, G2) を定義し、遷移確率の不正確さを定量化する。
• η を G1 における最小の正の遷移確率とするとき、相対距離 distR(G1, G2) = distA(G1, G2)/η を導入し、摂動を正規化する。
• 状態空間サイズ |S| および正規化された摂動に依存する定量的境界 |Val(G1, Φ)(s) − Val(G2, Φ)(s)| ≤ (1 + distR(G1, G2))²·|S| − 1 を導出する。
• 構造的同値性の下で、極限 limε→0 sup_{G2∈[[G1]]≡, distA(G1,G2)≤ε} |Val(G1, Φ)(s) − Val(G2, Φ)(s)| = 0 を用いて価値連続性を証明する。
• 構造的同値性がなければ価値連続性が成立しないことを示す反例を構築する—マコフ連鎖においても、絶対摂動が任意に小さくても価値差が 1 に近づく例がある。

実験結果

リサーチクエスチョン

• RQ1 並列的確率的パリティゲームにおいて、遷移確率の小さな変化に対して価値関数が連続となる条件は何か？
• RQ2 遷移確率の差を用いて、価値関数の差の定量的上界を導出できるか？
• RQ3 構造的同値なターンベースの確率的パリティゲームにおいて、最適戦略は遷移確率の小さな摂動に対してロバストか？
• RQ4 構造的同値性の仮定は価値連続性にとって必要であり、かつそれを満たさない場合に連続性が失敗する反例を構築できるか？
• RQ5 導出された価値差の定量的境界は、小規模な摂動において漸近的に最適か？

主な発見

• 構造的同値な並列的確率的パリティゲームにおいて、価値関数の差は (1 + distR(G1, G2))²·|S| − 1 で有界であり、ここで distR は遷移確率間の正規化距離である。
• この境界は漸近的に最適である：小規模な摂動 ε に対して、価値差は Ω(|S|·ε/η) であり、境界の主要項と一致する。
• 構造的同値性の下では、並列ゲームにおける価値連続性が成立する—遷移確率間の絶対距離が 0 に近づくにつれて、価値差も 0 に近づく。
• 構造的同値性が成り立たない場合には価値連続性は失敗する—任意に小さな絶対摂動に対しても価値差が 1 に近づくマコフ連鎖の例がある。
• 構造的同値なターンベースの確率的パリティゲームにおけるすべての純粋なメモリレス最適戦略は、小さな摂動下でも ε-最適のままであり、戦略のロバストネスを示している。
• 構造的同値性の仮定は価値連続性にとって必要かつ十分であり、定量的境界は漸近的領域でタイトである。