[논문 리뷰] Tauberian theorems for general iterations of operators: applications to zero-sum stochastic games

Bruno Ziliotto|arXiv (Cornell University)|2016. 09. 07.

Economic theories and models참고 문헌 27인용 수 8

한 줄 요약

이 논문은 일반적인 연산자 반복에 대한 타우버형 정리들을 수립하여, n단계 또는 λ-할인된 확률적 게임에서의 값의 균일 수렴이 온건한 조건 하에서 θ-가중치 게임에서의 균일 수렴을 이끌어내는 것을 증명한다. 또한 유한 상태의 0합 확률적 게임에서 단계별 할인 요소가 현재 단계의 가중치에 비례하는 방식으로 사용되는 점차적으로 최적의 전략 클래스를 구성하며, θ₁ → 0일 때 점근적 값으로 수렴함을 보장한다.

ABSTRACT

This paper proves several Tauberian theorems for general iterations of operators, and provides two applications to zero-sum stochastic games where the total payoff is a weighted sum of the stage payoffs. The first application is to provide conditions under which the existence of the asymptotic value implies the convergence of the values of the weighted game, as players get more and more patient. The second application concerns stochastic games with finite state space and action sets. This paper builds a simple class of asymptotically optimal strategies in the weighted game, that at each stage play optimally in a discounted game with a discount factor corresponding to the relative weight of the current stage.

연구 동기 및 목표

• 확률적 게임 모델에서 연산자 반복에 대한 일반적인 타우버형 정리들을 수립하기 위해.
• n단계 또는 λ-할인된 게임 값의 균일 수렴이 θ-가중치 게임 값의 균일 수렴을 유도하는 조건을 규명하기 위해.
• 유한 상태의 확률적 게임에서 θ-가중치 게임에 대해 점차적으로 최적의 전략을 구성하기 위해.
• θ₁ → 0이지만 v_θ가 점근적 값으로 수렴하지 않는 반례를 통해 수렴 조건의 날카로움을 입증하기 위해.

제안 방법

• θ-가중치 게임의 값을 기능적 방정식(샤플리 방정식)으로 모델링하는 연산자 접근법을 사용한다.
• 가중치 수열 θ에 대한 조건 하에서 연산자 수열에 타우버형 정리를 적용하여 값의 수렴을 유추한다.
• 각 단계 m에서 할인 요소가 θₘ / ∑_{m'≥m} θₘ'인 할인 게임에서 최적으로 플레이하는 전략을 구성한다.
• 폴리시 공간의 Borel 부분집합 위의 확률 측도에 대한 약한 ∗ 위상 구조를 활용하여 가치 함수의 수렴성을 분석한다.
• 상태에 따라 변하는 전이 확률과 로그 형태의 흡수 확률을 가진 반례를 분석하여 조건의 필수성을 입증한다.
• 재귀적 구조와 흡수 확률을 활용하여 특정 전략 하에서 기대 수익을 근사한다.

실험 결과

연구 질문

• RQ1 일반적인 θ-가중치 게임에서 vₙ 또는 v_λ의 균일 수렴이 θ에 대해 v_θ의 균일 수렴을 유도하는 조건은 무엇인가?
• RQ2 현재 단계의 가중치에 비례하는 단계별 할인 요소를 기반으로 하는 전략이 θ-가중치 확률적 게임에서 점차적으로 최적일 수 있는가?
• RQ3 θ₁ → 0일 때 점근적 값이 존재하더라도, θ의 총 변동량이 0이 되는 경우 v_θ가 수렴하는 데 충분한가?
• RQ4 vₙ이 균일 수렴하는 반면 θ₁ → 0이지만 v_θ가 수렴하지 않는 반례를 구성할 수 있는가?
• RQ5 연산자 접근법은 일반적인 연산자 반복에 대한 타우버형 정리를 증명하는 데 있어 어떤 역할을 하는가?

주요 결과

• 가족 (vₙ)은 균일하게 극한 v*로 수렴하며, 이때 v*(k) = 1 for all k ≠ 0* 이고 v*(0*) = 0 이므로 점근적 값의 존재가 입증된다.
• θ^N₁ → 0 인 수열 (θ^N) 이 존재하여 v_θ^N(0,1) → 0 임을 보여, θ^N₁ → 0 이지만 v_θ가 점근적 값으로 수렴하지 않는다는 것을 입증한다.
• 유한 상태의 확률적 게임에서는 각 단계 m에서 할인 요소가 θₘ / ∑_{m'≥m} θₘ'인 할인 게임에서 최적으로 플레이하는 전략이 θ₁ → 0일 때 점차적으로 최적이다.
• 적당한 정규성 조건 하에서, vₙ 또는 v_λ의 균일 수렴은 supₘ θₘ → 0 인 임의의 θ에 대해 v_θ의 균일 수렴을 유도한다.
• 반례는 θ의 총 변동량이 0이 되더라도 v_θ가 점근적 값으로 수렴하지 않을 수 있음을 보여, 조건의 날카로움을 입증한다.
• 증명 기법은 연산자에 대한 타우버형 정리에 기반하며, 구성된 전략이 보장하는 수익이 샤플리 방정식과 유사한 기능적 방정식을 만족함을 보여준다.