[논문 리뷰] General limit value in stochastic games

Bruno Ziliotto|arXiv (Cornell University)|2014. 10. 20.

Economic theories and models인용 수 2

한 줄 요약

이 논문은 제로섬 스토케스틱 게임에서 세사로 및 아벨 평균을 초월하여 渐近적 값의 존재를 일반화하며, 반례를 통해 타이트함을 증명한다. 또한 메르텐스와 니먼의 균일 값 결과가 더 넓은 지ay 평가에 자연스럽게 확장될 수 없다는 것을 보이며, 스토케스틱 게임에서 값 수렴의 기본적인 한계를 설정한다.

ABSTRACT

Bewley and Kohlberg (1976) and Mertens and Neyman (1981) have proved, respectively, the existence of the asymptotic value and the uniform value in zero-sum stochastic games with finite state space and finite action sets. In their work, the total payoff in a stochastic game is defined either as a Cesaro mean or an Abel mean of the stage payoffs. This paper presents two findings: first, we generalize the result of Bewley and Kohlberg to a more general class of payoff evaluations and we prove with a counterexample that this result is tight. We also investigate the particular case of absorbing games. Second, for the uniform approach of Mertens and Neyman, we provide another counterexample to demonstrate that there is no natural way to generalize the result of Mertens and Neyman to a wider class of payoff evaluations.

연구 동기 및 목표

• 제로섬 스토케스틱 게임에서 베슬리와 콜브르크의 渐近적 값 결과를 세사로 및 아벨 평균을 초월하여 일반화하는 것.
• 반례를 통해 일반화된 渐近적 값 결과가 타이트하며 더 이상 확장될 수 없음을 입증하는 것.
• 메르텐스와 니먼의 균일 값 결과가 더 넓은 지급 평가 클래스로 확장될 수 있는지 조사하는 것.
• 반례를 통해 원래 프레임워크를 초월한 균일 값의 자연스러운 일반화가 존재하지 않음을 보이는 것.

제안 방법

• 스토케스틱 게임의 프레임워크를 세사로 및 아벨 평균을 초월한 더 넓은 지급 평가 함수의 클래스로 확장하는 것.
• 게임 이론 및 극한 이론의 분석 기법을 활용하여 다양한 평가 방법 하에서 값 함수의 수렴성을 검토하는 것.
• 일부 일반화된 평가 함수에 대해 渐近적 값이 존재하지 않음을 보여주는 구체적 반례를 구성하는 것.
• 유사한 반례 기법을 적용하여 균일 값의 원래 메르텐스와 니먼 설정을 초월한 일반화가 불가능함을 입증하는 것.
• 일반 결과의 검증과 정교화를 위해 흡수 게임을 특수 케이스로 분석하는 것.
• 위상수학적 및 측도 이론적 추론을 사용하여 渐近적 값 결과의 타이트함을 확립하는 것.

실험 결과

연구 질문

• RQ1 제로섬 스토케스틱 게임에서의 渐近적 값은 세사로 및 아벨 평균을 초월하여 일반화될 수 있는가?
• RQ2 더 넓은 지급 평가 클래스에서라도 渐近적 값이 여전히 존재하는가?
• RQ3 메르텐스와 니먼의 균일 값 결과는 더 일반적인 평가 함수로 확장될 수 있는가?
• RQ4 균일 값의 일반화를 방해하는 본질적인 제약 조건이 존재하는가?
• RQ5 흡수 게임은 일반화된 지급 평가 하에서 한계 값의 맥락에서 어떻게 행동하는가?

주요 결과

• 세사로 및 아벨 평균을 초월한 더 넓은 지급 평가 클래스에 대해 渐近적 값이 존재하지만, 이 결과는 더 이상 확장될 수 없고 타이트하다.
• 반례를 통해 일부 일반화된 평가 함수에 대해 渐近적 값이 존재하지 않음을 입증하여 결과의 최적성(최적성)을 보여준다.
• 메르텐스와 니먼의 균일 값 결과는 더 넓은 지급 평가 클래스로 자연스럽게 일반화될 수 없다.
• 다른 반례를 통해 원래 설정을 초월한 균일 값의 일관된 확장이 존재하지 않음을 보여준다.
• 흡수 게임은 특수 케이스로 분석되어 일반 결과의 강건성(robustness)을 확인한다.
• 이 논문은 다양한 평가 체계 하에서 스토케스틱 게임의 값 수렴에 대한 기본 이론적 경계를 설정한다.