[논문 리뷰] Strategy Improvement for Concurrent Reachability and Safety Games

Krishnendu Chatterjee, Luca de Alfaro외 1명|arXiv (Cornell University)|2012. 01. 13.

Formal Methods in Verification참고 문헌 24인용 수 4

한 줄 요약

이 논문은 동시적 도달 가능성 및 안전성 게임에 대한 전략 개선 알고리즘을 제안하며, 게임 값으로의 단조 수렴을 양방향에서 가능하게 한다. 반복적 개선을 통해 기억 없는 ε-최적 전략을 근사하는 데 있어 실용적인 첫 번째 방법을 확립하여, 기존의 값 반복 방법이 한 방향으로만 수렴하고 증거 전략을 제공하지 못하는 한계를 해결한다.

ABSTRACT

We consider concurrent games played on graphs. At every round of a game, each player simultaneously and independently selects a move; the moves jointly determine the transition to a successor state. Two basic objectives are the safety objective to stay forever in a given set of states, and its dual, the reachability objective to reach a given set of states. First, we present a simple proof of the fact that in concurrent reachability games, for all $ε>0$, memoryless $ε$-optimal strategies exist. A memoryless strategy is independent of the history of plays, and an $ε$-optimal strategy achieves the objective with probability within $ε$ of the value of the game. In contrast to previous proofs of this fact, our proof is more elementary and more combinatorial. Second, we present a strategy-improvement (a.k.a.\ policy-iteration) algorithm for concurrent games with reachability objectives. We then present a strategy-improvement algorithm for concurrent games with safety objectives. Our algorithms yield sequences of player-1 strategies which ensure probabilities of winning that converge monotonically to the value of the game. Our result is significant because the strategy-improvement algorithm for safety games provides, for the first time, a way to approximate the value of a concurrent safety game from below. Previous methods could approximate the values of these games only from one direction, and as no rates of convergence are known, they did not provide a practical way to solve these games.

연구 동기 및 목표

• 동시적 도달 가능성 게임의 값으로 아래에서 단조 수렴하는 전략 개선 알고리즘을 개발하기 위해.
• 기존 방법의 격차를 메우기 위해 아래에서 값에 수렴하는 동시적 안전성 게임에 대한 전략 개선 알고리즘을 설계하기 위해.
• 복잡한 고정점 정리에 의존하지 않고 조합적 증명을 통해 동시적 도달 가능성 게임에서 기억 없는 ε-최적 전략의 존재를 증명하기 위해.
• 기하학적 탐색과 값 반복의 한계를 극복하여 동시 게임에서 ε-최적 전략을 실용적이고 효율적으로 근사하는 방법을 제공하기 위해.
• 이중 평가 수열에 기반한 종료 조건을 확립하여 유한한 반복 횟수 내에 ε-근사치를 보장하기 위해.

제안 방법

• 게임 값으로 수렴하는 단조 비감소 수열을 생성하는 동시적 도달 가능성 게임에 대한 전략 개선 알고리즘을 제안한다.
• 플레이어-2 전략을 개선하여 플레이어-1의 안전 목표에 대한 평가 수열이 단조 비감소가 되도록 하는 이중 전략 개선 알고리즘을 도입한다.
• 도달 가능성과 안전성 목표에 대해 이중 평가 수열 (u_i, v_i)을 사용하며, u_i는 안전성 값을 추정하고 v_i는 도달 가능성 값을 추정한다.
• u_i + v_i ≥ 1 - ε 조건을 정지 기준으로 사용하여, 두 게임 값이 동시에 ε 이내로 근사됨을 보장한다.
• 검색 공간을 제한하기 위해 k-균일 기억 없는 전략을 적용하여 반복 횟수에 대해 이중 지수 함수의 경계를 확보한다.
• k-균일 전략 추상화를 통해 동시 게임을 순차적 스토케스틱 게임으로 환원하며, 후자의 알려진 종료 경계를 활용한다.

실험 결과

연구 질문

• RQ1 동시적 안전성 게임에 대해 아래에서 단조 수렴하는 전략 개선 알고리즘을 설계할 수 있는가?
• RQ2 고정점 또는 선형 프로그래밍 방법에 의존하지 않고, 동시적 도달 가능성 게임에서 기억 없는 ε-최적 전략의 존재에 대한 조합적 증명이 존재하는가?
• RQ3 기하학적 탐색보다 더 효율적으로 동시 게임에서 ε-최적 전략을 근사하기 위해 전략 개선 알고리즘을 사용할 수 있는가?
• RQ4 이중 평가 수열을 사용할 때 어떤 종료 조건이 게임 값의 ε-근사치를 보장하는가?
• RQ5 동시 게임에 대한 전략 개선 알고리즘의 계산 복잡도는 무엇이며, 값 반복과 기하학적 탐색과 비교해 볼 때 어떻게 다른가?

주요 결과

• 동시적 도달 가능성 게임에서 기억 없는 ε-최적 전략의 존재에 대해 새로운, 기본적인 조합적 증명이 제시된다.
• 동시적 도달 가능성 게임에 대한 전략 개선 알고리즘은 게임 값으로 수렴하는 단조 비감소 평가 수열을 생성한다.
• 동시적 안전성 게임의 경우, 제안된 알고리즘은 아래에서 값에 수렴하는 최초의 방법으로, 실용적인 ε-근사 전략 계산을 가능하게 한다.
• 알고리즘이 u_i + v_i ≥ 1 - ε 조건에서 종료되며, 이는 u_i와 v_i가 모두 진정한 게임 값으로부터 ε 이내에 있음을 보장한다. 여기서 u_i ≤ ⟨1⟩_val(Safe(F)) ≤ 1 - u_i이다.
• 반복 횟수는 게임 크기의 이중 지수 함수로 경계가 주어지며, 최근 결과에 따르면 이는 거의 최적이다.
• 증거 전략이 k-균일 기억 없는 형태로 제공되며, k는 (1/ε)^{2^{O(|G|)}}로 경계가 주어져 효율적인 ε-근사치를 가능하게 한다.