[논문 리뷰] A Tauberian theorem for nonexpansive operators and applications to zero-sum stochastic games

Bruno Ziliotto|arXiv (Cornell University)|2015. 01. 26.

Economic theories and models참고 문헌 23인용 수 6

한 줄 요약

이 논문은 비확장 연산자에 대한 일반적인 타우버리안 정리 수립을 통해, 0-합 스토케스틱 게임에서 n단계 게임의 값 $v_n$ 이론적 수렴과 $\lambda \to 0$ 일 때 $\lambda$-할인 게임 값 $v_\lambda$ 의 균일 수렴이 동치임을 증명한다. 주요 기여는 유한 상태, 유한 행동, 유한 신호를 가진 공개 상태 신호를 갖는 스토케스틱 게임에서 $v_\lambda(k_1)$ 와 $v_n(k_1)$ 가 서로 다른 극한으로 수렴하는 첫 번째 예시를 제시함으로써, 스토케스틱 게임 이론에서 오랫동안 미해결이었던 문제를 해결한 것이다.

ABSTRACT

We prove a Tauberian theorem for nonexpansive operators, and apply it to the model of zero-sum stochastic game. Under mild assumptions, we prove that the value of the lambda-discounted game v_{lambda} converges uniformly when lambda goes to 0 if and only if the value of the n-stage game v_n converges uniformly when n goes to infinity. This generalizes the Tauberian theorem of Lehrer and Sorin (1992) to the two-player zero-sum case. We also provide the first example of a stochastic game with public signals on the state and perfect observation of actions, with finite state space, signal sets and action sets, in which for some initial state k_1 known by both players, (v_{lambda}(k_1)) and (v_n(k_1)) converge to distinct limits.

연구 동기 및 목표

• Lehrer와 Sorin의 타우버리안 정리를 단일 제어자에서 양자게임 0-합 스토케스틱 게임으로 일반화하기.
• 일반적인 스토케스틱 게임에서 $v_n$ 의 균일 수렴이 $v_\lambda$ 의 균일 수렴을 유도하는지, 그 반대의 경우도 성립하는지 여부를 해결하기.
• 공개 상태 신호와 완전한 행동 관찰 조건을 갖는 유한 수명 스토케스틱 게임에서 $v_\lambda(k_1)$ 와 $v_n(k_1)$ 가 서로 다른 극한으로 수렴하는 첫 번째 예시를 구성하기.
• 다양한 평가 기준 하에서 게임 값의 수렴을 분석하기 위한 비확장 연산자를 활용한 일반적 프레임워크 수립하기.

제안 방법

• 유계 함수 위에 작용하는 비확장 연산자에 대한 타우버리안 정리 증명을 통해 이산 시간 평균과 연속 시간 평균의 渐近적 행동을 연결하기.
• 스토케스틱 게임에서 동적 프ogramming 연산자의 비확장 성질을 활용하여, Shapley 방정식에 대한 연산자 이론적 접근 적용하기.
• 유한 상태, 행동, 신호 집합을 갖는 숨겨진 스토케스틱 게임을 구성하고, 재귀적 상태 전이와 믿음 동역학을 활용해 극한이 다를 수 있도록 설계하기.
• 세 단계의 구성 방법을 사용: 첫 번째로, $v_n(k_1)$ 가 $>2/3$ 로 수렴하고 $v_\lambda(k_1)$ 가 $1/2$ 로 수렴하는 게임; 두 번째로, 대칭적인 게임에서 $v_n(k_1)$ 가 $>2/3$ 로 수렴하고 $v_\lambda(k_1)$ 가 $1/2$ 로 수렴하는 게임; 세 번째로, 두 게임을 융합하여 서로 다른 극한을 만드는 하이브리드 게임.
• 최종 게임에서 플레이어 2는 $v_\lambda$ 를 통해 장기 게임(값이 $1/2$) 또는 $v_n$ 을 통해 영구적 지급 $x > 1/2$ 를 선택할 수 있도록 구성하여 수렴 행동의 차이를 악용하기.
• 작은 $\lambda$ 에서는 $v_\lambda$ 가 장기 게임을 선호하고, 큰 $n$ 에서는 $v_n$ 이 즉각적 지급을 선호함을 이용하여 서로 다른 극한을 보장하기.

실험 결과

연구 질문

• RQ1 2명의 플레이어가 참여하는 0-합 스토케스틱 게임에서 $n$-단계 게임 값 $v_n$ 의 균일 수렴이 $\lambda$-할인 게임 값 $v_\lambda$ 의 균일 수렴을 유도하는가?
• RQ2 역으로, $v_\lambda$ 의 균일 수렴이 $v_n$ 의 균일 수렴을 유도하는가?
• RQ3 유한 상태, 행동, 신호 집합을 갖는 스토케스틱 게임에서 어떤 초기 상태 $k_1$ 에 대해 $v_\lambda(k_1)$ 와 $v_n(k_1)$ 가 서로 다른 극한으로 수렴할 수 있는가?
• RQ4 언제 $v_n$ 과 $v_\lambda$ 의 극한이 일치하고, 언제는 분리되는가?
• RQ5 비확장 연산자를 어떻게 활용하여 스토케스틱 게임 값에 대한 타우버리안 정리를 유도할 수 있는가?

주요 결과

• 논문은 2명의 플레이어가 참여하는 0-합 스토케스틱 게임에서 미약한 조건 하에 $v_n$ 이 균일 수렴하는 것과 $v_\lambda$ 가 균일 수렴하는 것이 동치임을 증명한다.
• 균일 수렴이 성립할 경우, $v_n$ 과 $v_\lambda$ 의 극한은 동일하며, 이는 Lehrer와 Sorin의 결과를 양자게임의 경우로 일반화한 것이다.
• 논문은 공개 상태 신호와 완전한 행동 관찰 조건을 갖는 유한 수명 스토케스틱 게임을 구성하여, $v_\lambda(k_1)$ 가 $1/2$ 로 수렴하고 $v_n(k_1)$ 가 $x > 1/2$ 로 수렴함을 보여, 서로 다른 극한을 보임을 입증한다.
• 이 예시는 세 단계의 구성 과정을 통해 구축되었다: 첫 번째로, $\liminf v_n(k_1) > 2/3$ 이고 $v_\lambda(k_1) \to 1/2$ 인 게임; 두 번째로 대칭적인 게임; 세 번째로, 플레이어 2가 장기 게임과 즉각적 지급 중 선택할 수 있는 하이브리드 게임.
• 최종 게임에서 $\lim_{\lambda \to 0} v_\lambda(\omega_4) = 1/2$ 이고 $\lim_{n \to \infty} v_n(\omega_4) = x > 1/2$ 이며, 이는 서로 다른 극한의 존재를 증명한다.
• 결과적으로, 균일 수렴이 일반적인 스토케스틱 게임에서 극한의 동치성을 보장하지 못함을 보여주며, 유한한 구조를 가진 게임에서도 마찬가지로 성립하지 않음을 시사한다.