[논문 리뷰] Policy iteration for perfect information stochastic mean payoff games with bounded first return times is strongly polynomial

Marianne Akian, Stéphane Gaubert|arXiv (Cornell University)|2013. 10. 18.

Stochastic processes and financial applications참고 문헌 15인용 수 12

한 줄 요약

이 논문은 특정 상태로의 첫 번째 복귀 시간이 균일하게 유계일 때, 완전 정보를 가진 확률적 평균 수익 게임에 대한 정책 반복이 강한 다항식 시간 내에 수렴함을 입증한다. 비선형 페론-프로베니우스 이론과 상태에 따라 변하는 스케일링 변환을 활용하여 평균 수익 문제를 스펙트럼 반경이 유계인 할인 문제로 환원함으로써, 복귀 시간에 대한 고정된 유계 조건 하에서 입력 크기의 다항식 함수로 정책 반복 횟수가 유계임을 증명한다.

ABSTRACT

Recent results of Ye and Hansen, Miltersen and Zwick show that policy iteration for one or two player (perfect information) zero-sum stochastic games, restricted to instances with a fixed discount rate, is strongly polynomial. We show that policy iteration for mean-payoff zero-sum stochastic games is also strongly polynomial when restricted to instances with bounded first mean return time to a given state. The proof is based on methods of nonlinear Perron-Frobenius theory, allowing us to reduce the mean-payoff problem to a discounted problem with state dependent discount rate. Our analysis also shows that policy iteration remains strongly polynomial for discounted problems in which the discount rate can be state dependent (and even negative) at certain states, provided that the spectral radii of the nonnegative matrices associated to all strategies are bounded from above by a fixed constant strictly less than 1.

연구 동기 및 목표

• 고정된 상태로의 첫 번째 복귀 시간이 유계일 조건 하에서 완전 정보를 가진 확률적 평균 수익 게임에 대한 정책 반복의 강한 다항식 시간 수렴성을 입증하기 위해.
• 고정된 할인율을 가진 할인 게임에서 알려진 강한 다항식 경계를 고정된 할인율이 아닌 평균 수익 및 상태에 따라 변하는 할인율 설정으로 확장하기 위해.
• 정책 반복과 불변인 스케일링 변환을 개발하여 조합적 구조를 유지하면서 수축 분석이 가능하도록 하기 위해.
• 모든 전략 쌍에 대해 전이 행렬의 스펙트럼 반경이 1에서 멀리 떨어져 있음을 보여주어 수축 기반의 반복 횟수 경계를 확보하기 위해.
• 전체 할인 게임에 대한 이전의 경계를 통합하고 개선하기 위해 전역 할인 요소를 스펙트럼 반경 기반 측정치로 대체하기 위해.

제안 방법

• 비선형 페론-프로베니우스 이론을 적용하여 평균 수익 문제를 상태에 따라 변하는 할인율을 가진 할인 문제로 변환한다.
• 첫 번째 도착 시간에서 유도된 벡터 φ를 사용한 스케일링 변환을 도입하여 문제를 정규화하고 정책 반복의 흐름을 유지한다.
• 순서를 유지하고 가중 초노름에서 수축 인자 λ < 1을 갖는 수정된 맵 Lφ(f)를 정의한다.
• 복귀 시간 벡터 φ의 성분에 대해 K가 유계일 때 수축 인자 λ = (K−1)/K를 사용하여 반복 횟수를 유계로 제한한다.
• 모든 전략에 의해 유도된 전이 행렬이 스케일링된 맵 하에서 수축 조건을 만족함을 증명하여 유한하고 유계인 반복 횟수를 확보한다.
• 전이 행렬의 최종 클래스의 유일성을 활용하여 첫 번째 도착 시간 벡터 φ의 존재성과 양수성을 보장한다.

실험 결과

연구 질문

• RQ1 유계 복귀 시간 조건 하에서 평균 수익 확률적 게임에 대한 정책 반복이 강한 다항식 시간 내에 수렴함을 입증할 수 있는가?
• RQ2 상태에 따라 변하는 할인율과 비선형 스케일링을 사용할 때, 정책 반복의 조합적 구조를 유지하면서 강한 다항식 경계를 확보할 수 있는가?
• RQ3 모든 전략 쌍에 대해 전이 행렬의 스펙트럼 반경을 사용하여 반복 횟수를 스케일링과 불변인 방식으로 유계로 제한할 수 있는가?
• RQ4 기존 경계와 비교할 때 신규 경계는 할인율과 문제 크기에 대해 어떻게 달라지는가?
• RQ5 변환 기법을 통해 평균 수익 문제를 스펙트럼 반경이 유계인 할인 문제로 환원할 수 있는가?

주요 결과

• 고정된 상태로의 첫 번째 복귀 시간이 균일하게 유계일 경우, 평균 수익 게임에 대한 정책 반복은 다항식 시간 내에 수렴하며, 반복 횟수는 상태 수와 행동 수의 다항식 함수로 유계이다.
• 고정된 λ < 1을 가진 할인 게임에 대한 새로운 경계는 O((m₁ − n)/(1 − λ) log(1/(1 − λ)))로 향상되었으며, 여기서 m₁은 제1 플레이어의 행동 수이다. 이는 이전의 경계를 초월한다.
• 상태에 따라 변하는 할인율 설정에서는, 전이 행렬의 최대 스펙트럼 반경이 1에서 멀리 떨어져 있을 경우 반복 횟수는 그 스펙트럼 반경의 함수로 유계이다.
• 스케일링 변환 Lφ(f)는 정책 반복의 조합적 흐름을 유지하며, 변환된 맵이 순서를 유지하고 수축 인자 λ < 1를 갖는다.
• 첫 번째 도착 시간 벡터 φ는 φ = 1 + M_(c)φ를 만족하며, 여기서 M_(c)는 c번째 열이 0으로 설정된 전이 행렬이다. 이는 스케일링 벡터의 구성에 기여한다.
• 유계 K에 대해 φ의 성분에 대해 K가 유계일 때 수축 인자 λ = (K−1)/K를 유도하여 반복 횟수가 O(K log K)로 유계임을 보장하며, 이는 원래 할인율과 무관하다.