[논문 리뷰] Constant payoff in zero-sum stochastic games

Miquel Oliu Barton, Bruno Ziliotto|arXiv (Cornell University)|2018. 11. 12.

Markov Chains and Monte Carlo Methods참고 문헌 13인용 수 3

한 줄 요약

이 논문은 환경이 무작위이고 플레이어가 인내심을 지닌 0-합 게임에서, 기대 총보상이 게임 상태에 관계없이 일정하게 유지됨을 증명한다. 이는 소린, 베네르, 비에라(2010)가 제기한 추측을 확인하는 결과이다. 이 결과는 준대수기법, 희귀 전이 마르코프 체인, 가치함수에 대한 변분부등식을 통해 확립된다.

ABSTRACT

In a zero-sum stochastic game, at each stage, two adversary players take decisions and receive a stage payoff determined by them and by a random variable representing the state of nature. The total payoff is the discounted sum of the stage payoffs. Assume that the players are very patient and use optimal strategies. We then prove that, at any point in the game, players get essentially the same expected payoff: the payoff is constant. This solves a conjecture by Sorin, Venel and Vigeral (2010). The proof relies on the semi-algebraic approach for discounted stochastic games introduced by Bewley and Kohlberg (1976), on the theory of Markov chains with rare transitions, initiated by Friedlin and Wentzell (1984), and on some variational inequalities for value functions inspired by the recent work of Davini, Fathi, Iturriaga and Zavidovique (2016)

연구 동기 및 목표

• 플레이어가 매우 인내심을 지닐 때 0-합 무작위 게임에서 기대 보상이 일정하게 유지된다는 추측을 해결하는 것.
• 최적의 플레이 하에 할인된 무작위 게임의 장기적 행동을 분석하는 것.
• 환경의 한계에서 플레이어의 인내심이 극대화될 때 가치함수가 상태에 관계없이 불변임을 증명하는 것.
• 준대수기법, 희귀 전이 마르코프 체인, 가치함수의 변분해석 기법을 통합하는 것.

제안 방법

• 베슬리와 콜버그(1976)의 준대수기법을 수정하여 할인된 무작위 게임에서 가치함수의 점근적 구조를 분석한다.
• 프리드리린과 웬츠엘(1984)의 희귀 전이 마르코프 체인 이론을 적용하여, 플레이어의 인내심 전략 하에서 느린 상태 변화를 모델링한다.
• 다비니 등(2016)의 영감을 얻은 변분부등식을 사용하여 가치함수의 극한 행동을 특성화한다.
• 할인율이 점점 줄어들 때 가치함수가 모든 상태에서 일정한 값으로 수렴함을 증명한다.
• 이 도구들을 통합하여 최적 전략이 현재 상태에 관계없이 동일한 기대 보상을 제공함을 보여준다.
• 장기적 극한에서 최적의 플레이 하에 게임의 가치가 초기 상태에 영향을 받지 않음을 입증한다.

실험 결과

연구 질문

• RQ1 플레이어가 매우 인내심을 지닐 때 0-합 무작위 게임에서 모든 상태에서 기대 총보상이 일정하게 유지되는가?
• RQ2 기존의 분석 도구를 사용하여 플레이어가 인내심을 지닐 때 보상이 일정하다는 추측을 공식적으로 증명할 수 있는가?
• RQ3 상태 과정에서의 희귀 전이가 무작위 게임의 장기적 가치 구조에 어떤 영향을 미치는가?
• RQ4 가치함수에 대한 변분부등식이 할인된 무작위 게임의 극한 행동을 얼마나 잘 묘사할 수 있는가?
• RQ5 할인율이 점점 줄어들 때 가치함수가 상태에 관계없이 불변인가?

주요 결과

• 플레이어가 매우 인내심을 지닐 때 최적의 전략을 사용하면 모든 상태에서 기대 총보상이 일정하다.
• 할인율이 점점 줄어들 때 가치함수가 초기 상태에 관계없이 일정한 값으로 수렴한다.
• 이 결과는 소린, 베네르, 비에라(2010)의 0-합 무작위 게임에서 보상이 일정하다는 추측을 확인한다.
• 준대수기법 프레임워크를 통해 극한 가치 구조를 정밀하게 특성화할 수 있다.
• 희귀 전이 이론과 변분부등식의 통합은 장기적 게임 행동에 대한 새로운 분석적 접근을 제공한다.
• 보상의 일정성은 최적 전략과 상태 과정의 점근적 안정성 간의 상호작용에서 기인한다.