[论文解读] Robustness of Structurally Equivalent Concurrent Parity Games

Krishnendu Chatterjee|arXiv (Cornell University)|Jan 1, 2011

Logic, Reasoning, and Knowledge参考文献 23被引用 1

一句话总结

该论文在转换概率的小幅扰动下，为并发和回合制随机parity博弈中的值函数建立了定量鲁棒性边界。证明了在结构等价条件下（即转移支持相同但概率不同）值连续性成立，表明值的差异被概率距离和状态空间大小的函数所界定，且该边界在渐近意义下是最优的。

ABSTRACT

We consider two-player stochastic games played on a finite state space for an infinite number of rounds. The games are concurrent: in each round, the two players (player 1 and player 2) choose their moves independently and simultaneously; the current state and the two moves determine a probability distribution over the successor states. We also consider the important special case of turn-based stochastic games where players make moves in turns, rather than concurrently. We study concurrent games with ω-regular winning conditions specified as parity objectives. The value for player 1 for a parity objective is the maximal probability with which the player can guarantee the satisfaction of the objective against all strategies of the opponent. We study the problem of continuity and robustness of the value function in concurrent and turn-based stochastic parity gameswith respect to imprecision in the transition probabilities. We present quantitative bounds on the difference of the value function (in terms of the imprecision of the transition probabilities) and show the value continuity for structurally equivalent concurrent games (two games are structurally equivalent if the support of the transition function is same and the probabilities differ). We also show robustness of optimal strategies for structurally equivalent turn-based stochastic parity games. Finally we show that the value continuity property breaks without the structurally equivalent assumption (even for Markov chains) and show that our quantitative bound is asymptotically optimal. Hence our results are tight (the assumption is both necessary and sufficient) and optimal (our quantitative bound is asymptotically optimal).

研究动机与目标

• 研究当转移概率不精确已知时，并发和回合制随机parity博弈中值函数的鲁棒性。
• 确定值函数在转移概率小幅变化时保持连续性的条件。
• 检查最优策略在转移概率小幅扰动下是否仍近似最优。
• 建立值连续性的必要和充分条件，特别是结构等价的作用。
• 证明所推导的定量边界在渐近意义下是最优的，从而填补了随机博弈鲁棒性理论理解中的空白。

提出的方法

• 将具有相同转移支持但概率不同的博弈结构定义为结构等价。
• 引入两个博弈结构之间的绝对距离 distA(G1, G2) 以量化转移概率的不精确性。
• 使用相对距离 distR(G1, G2) = distA(G1, G2)/η，其中 η 是 G1 中最小的正向转移概率，以对扰动进行归一化。
• 推导出定量边界：|Val(G1, Φ)(s) − Val(G2, Φ)(s)| ≤ (1 + distR(G1, G2))²·|S| − 1，该边界依赖于状态空间大小 |S| 和归一化扰动。
• 通过极限 limε→0 sup_{G2∈[[G1]]≡, distA(G1,G2)≤ε} |Val(G1, Φ)(s) − Val(G2, Φ)(s)| = 0 证明在结构等价条件下的值连续性。
• 构造反例以表明结构等价假设是必要的——在无此假设时，即使在马尔可夫链中，值连续性也会失效。

实验结果

研究问题

• RQ1 在并发随机parity博弈中，值函数在何种条件下对转移概率的小幅变化保持连续？
• RQ2 我们能否基于转移概率差异，推导出值函数差异的定量上界？
• RQ3 在结构等价的回合制随机parity博弈中，最优策略是否对转移概率的小幅扰动具有鲁棒性？
• RQ4 结构等价假设对值连续性是否必要？我们能否构造出在无此假设时连续性失效的反例？
• RQ5 所推导的值差异定量边界对于小扰动是否渐近最优？

主要发现

• 对于结构等价的并发随机parity博弈，值函数的差异被边界 (1 + distR(G1, G2))²·|S| − 1 所限制，其中 distR 为转移概率之间的归一化距离。
• 该边界渐近最优：对于小扰动 ε，值差异为 Ω(|S|·ε/η)，与边界的主导项一致。
• 在结构等价条件下，并发博弈的值连续性成立：当转移概率的绝对距离趋于零时，值差异也趋于零。
• 在缺乏结构等价性时，值连续性失效——反例显示，即使绝对扰动任意小，值差异仍可趋近于 1。
• 在结构等价的回合制随机parity博弈中，所有纯记忆无关最优策略在小扰动下仍为 ε-最优，表明策略具有鲁棒性。
• 结构等价假设对值连续性而言既必要又充分，且在渐近范围内所推导的定量边界是紧致的。