[논문 리뷰] Qualitative Analysis of Concurrent Mean-payoff Games

Krishnendu Chatterjee, Rasmus Ibsen-Jensen|arXiv (Cornell University)|2013. 01. 01.

Logic, Reasoning, and Knowledge참고 문헌 40인용 수 1

한 줄 요약

이 논문은 동시(mean-payoff) 게임의 정성적 분석을 제시하며, 정성적 결정성, 최적의 전략 복잡도, 그리고 거의확실(win) 및 정확한(positive) 승리 집합을 계산하는 이차시간 알고리즘을 확립한다. 이는 이러한 게임에서의 정량적 제약를 해결할 경우, 다항시간에 순환 기반의 결정적 평균보상 게임을 해결하는 오랫동안 미해결인 열린 문제를 해결할 수 있음을 보여준다.

ABSTRACT

We consider concurrent games played by two-players on a finite-state graph, where in every round the players simultaneously choose a move, and the current state along with the joint moves determine the successor state. We study a fundamental objective, namely, mean-payoff objective, where a reward is associated to each transition, and the goal of player 1 is to maximize the long-run average of the rewards, and the objective of player 2 is strictly the opposite. The path constraint for player 1 could be qualitative, i.e., the mean-payoff is the maximal reward, or arbitrarily close to it; or quantitative, i.e., a given threshold between the minimal and maximal reward. We consider the computation of the almost-sure (resp. positive) winning sets, where player 1 can ensure that the path constraint is satisfied with probability 1 (resp. positive probability). Our main results for qualitative path constraints are as follows: (1) we establish qualitative determinacy results that show that for every state either player 1 has a strategy to ensure almost-sure (resp. positive) winning against all player-2 strategies, or player 2 has a spoiling strategy to falsify almost-sure (resp. positive) winning against all player-1 strategies; (2) we present optimal strategy complexity results that precisely characterize the classes of strategies required for almost-sure and positive winning for both players; and (3) we present quadratic time algorithms to compute the almost-sure and the positive winning sets, matching the best known bound of algorithms for much simpler problems (such as reachability objectives). For quantitative constraints we show that a polynomial time solution for the almost-sure or the positive winning set would imply a solution to a long-standing open problem (the value problem for turn-based deterministic mean-payoff games) that is not known to be solvable in polynomial time.

연구 동기 및 목표

• 幾乎확실 및 정확한 승리 조건을 갖는 동시 평균보상 게임에 대한 정성적 결정성을 확립하기 위해.
• 두 플레이어 모두에 대해 거의확실 및 정확한 승리 전략을 위한 정확한 전략 복잡도를 특성화하기 위해.
• 다른 문제들(예: 도달 가능성 문제)에서 알려진 최상의 복잡도에 맞추어 거의확실 및 정확한 승리 집합을 효율적으로 계산하는 알고리즘을 개발하기 위해.
• 동시 평균보상 게임에서의 정량적 경로 제약의 계산 난이도를 조사하기 위해.
• 스케일링 및 시프팅 기법을 통해 불리안 보상에서 유리수 보상 함수로 결과를 확장하기 위해.

제안 방법

• 원래 전이마다 3M단계를 시뮬레이션하는 기반 기반의 구성(가젯 기반 구조)을 사용하여 동시 평균보상 게임(DMPGs)을 순환 기반의 스토케스틱 게임으로 환원하기.
• 감소된 게임에서 장기 평균 보상 분석을 위해 마르코프 체인 성질을 활용하며, 특히 폐쇄된 재귀 집합과 기대 평균 보상에 초점을 맞추기.
• 감소된 순환 기반 스토케스틱 게임에서의 위치 전략을 활용해 원래 동시 게임의 전략을 유추하기.
• 마르코프 체인의 기본 성질을 적용하여 감소된 게임의 평균 보상과 원래 게임의 사이클 행동 간의 관계를 규명하기.
• 보상 스케일링 및 임계값 변환을 통해 원래 게임과 감소된 게임의 승리 조건 간의 동치성을 증명하기.
• 동시 게임에서의 정량적 승리 집합을 해결할 경우, 다항시간에 순환 기반의 결정적 평균보상 게임을 해결하는 오랜 열린 문제를 해결할 수 있음을 보여주기.

실험 결과

연구 질문

• RQ1 거의확실 및 정확한 승리 조건 하에서 동시 평균보상 게임에 대해 정성적 결정성이 성립하는가?
• RQ2 거의확실 및 정확한 승리 전략을 위한 정확한 전략 복잡도는 무엇인가?
• RQ3 거의확실 및 정확한 승리 집합은 도달 가능성 게임에서 알려진 최상의 복잡도에 맞추어 이차시간 내에 계산될 수 있는가?
• RQ4 동시 평균보상 게임에서의 정량적 경로 제약를 해결하는 것이 순환 기반의 결정적 평균보상 게임의 값 문제를 해결하는 것과 계산적으로 동치인가?
• RQ5 정확한 보상 목표를 유지하면서, 유리수 보상 함수를 불리안 보상으로 환원하는 방법은 무엇인가?

주요 결과

• 정성적 결정성이 성립한다: 모든 상태에서, 플레이어 1은 플레이어 2의 모든 전략에 대해 거의확실 또는 정확한 승리를 보장할 수 있는 전략이 있거나, 또는 플레이어 2가 이를 방해할 수 있는 전략이 존재한다.
• 거의확실 및 정확한 승리 집합은 이차시간 내에 계산 가능하며, 동시 게임에서 도달 가능성 목표의 최상의 알려진 복잡도와 일치한다.
• 두 플레이어 모두에 대해 전략 복잡도가 정확히 특성화되어 있다: 정성적 제약 하에서 거의확실 및 정확한 승리 전략을 위한 위치 전략으로 충분하다.
• 동시 DMPGs에서 순환 기반 스토케스틱 게임으로의 환원은 3M단계 시뮬레이션을 통해 승리 조건을 유지하며, 마르코프 체인 성질을 통한 분석이 가능하게 한다.
• 동시 평균보상 게임에서의 정량적 승리 집합을 해결할 경우, 다항시간에 순환 기반의 결정적 평균보상 게임을 해결하는 오랜 열린 문제를 해결할 수 있음을 의미한다.
• 스케일링 및 시프팅 기법을 통해 불리안 보상에서 유리수 보상 함수로 결과를 확장할 수 있으며, 이는 최대 보상 목표를 위한 정성적 승리 조건을 유지한다.