[논문 리뷰] Strategy iteration is strongly polynomial for 2-player turn-based stochastic games with a constant discount factor

Thomas Dueholm Hansen, Peter Bro Miltersen외 1명|arXiv (Cornell University)|2010. 08. 03.

Auction Theory and Applications인용 수 13

한 줄 요약

이 논문은 일정한 할인 요소를 가진 2명의 플레이어가 번갈아가며 진행하는 스토케스틱 게임(2TBSGs)에 대한 전략 반복 알고리즘의 강한 다항 시간 복잡도를 증명한다. 특히, m개의 행동과 n개의 상태를 가질 때 O(m/(1−γ) log(n/(1−γ)))회의 반복을 필요로 한다. 주요 기여는 2TBSGs를 해결하기 위한 첫 번째 강한 다항 시간 알고리즘을 제시한 것으로, Ye의 MDP에서의 정책 반복 분석을 이중 플레이어 설정으로 확장하여 전략 개선과 값 벡터 수렴에 대한 새로운 경계를 도입함으로써 장기적으로 열려 있던 문제를 해결하였다.

ABSTRACT

Ye showed recently that the simplex method with Dantzig pivoting rule, as well as Howard's policy iteration algorithm, solve discounted Markov decision processes (MDPs), with a constant discount factor, in strongly polynomial time. More precisely, Ye showed that both algorithms terminate after at most $O(\frac{mn}{1-γ}\log(\frac{n}{1-γ}))$ iterations, where $n$ is the number of states, $m$ is the total number of actions in the MDP, and $0

연구 동기 및 목표

• 일정한 할인 요소 γ를 가진 2TBSGs에 대한 전략 반복 알고리즘이 강한 다항 시간 내에 수행되는지 여부를 해결하기 위해.
• Ye의 MDP에서의 Howard 정책 반복 분석을 2TBSGs의 이중 플레이어 설정으로 확장하기 위해.
• 2TBSGs에 대한 전략 반복 알고리즘의 반복 횟수에 대한 날카운 상한을 확립하기 위해.
• 할인 요소 γ가 일정할 경우 전략 반복이 다항 시간을 넘어서 강한 다항 시간임을 입증하기 위해.
• 미할인된 2TBSGs 및 단순 스토케스틱 게임, 페어티 게임과 같은 관련 게임에 대한 향후 다항 시간 알고리즘의 이론적 기반을 마련하기 위해.

제안 방법

• 수렴 속도를 제한하기 위해 전략 반복과 값 반복 간의 관계를 활용한다.
• 새로운 보조정리(Lemma 5.5)를 사용하여 현재 값 벡터와 최적 값 벡터 간의 거리가 기하급수적으로 감소함을 보임: ||vk − v*||∞ ≤ γk ||v0 − v*||∞.
• 핵심 기술 도구(Lemma 6.4)를 적용하여, 매 L = log(1/γ)(n²/(1−γ))회의 반복마다 이전에 사용되지 않은 새로운 행동이 전략 시퀀스에 나타남을 보임.
• 값 벡터 간의 1-노름 차이를 기반으로 한 잠재 함수 논리를 사용하여 각 반복에서의 개선 정도를 제한한다.
• 최적 전략이 위치 전략임을 이용하고, 전략 반복이 값 벡터를 단조롭게 향상시킴으로써 수렴을 보장한다.
• 값 벡터 감쇠와 행동 다양성에 대한 경계를 조합하여, 서로 다른 행동의 수에 대한 조류 원리 방식의 추론을 통해 최종 반복 횟수를 유도한다.

실험 결과

연구 질문

• RQ1 할인 요소 γ가 일정할 경우, 2TBSGs에 대한 전략 반복 알고리즘이 강한 다항 시간 내에 수행되는 것으로 증명할 수 있는가?
• RQ2 Howard 정책 반복의 반복 경계가 MDP에서의 결과가 이중 플레이어 일반화인 2TBSGs에 대한 전략 반복으로 확장되는가?
• RQ3 할인 요소 γ가 일정할 경우, 2TBSGs에 대한 전략 반복의 최적 상한은 무엇인가?
• RQ4 값 벡터 수렴 분석을 활용하여 이중 플레이어 설정에서 강한 다항 시간 경계를 증명할 수 있는가?
• RQ5 전략 시퀀스의 구조적 성질(예: 새로운 행동의 출현)을 이용하여 반복 횟수를 제한할 수 있는가?

주요 결과

• 일정한 할인 요소 γ를 가진 2TBSGs에 대한 전략 반복 알고리즘은 최대 O(m/(1−γ) log(n/(1−γ)))회의 반복 내에 종료된다.
• 이 경계는 Ye의 MDP에 대한 이전 경계를 n 배로 개선하여, O(mn/(1−γ) log(n/(1−γ)))에서 O(m/(1−γ) log(n/(1−γ)))로 감소시켰다.
• γ가 일정할 경우 이 경계는 강한 다항 시간이 되며, n과 m에 대한 의존성이 다항식이고, 로그 항은 오직 n과 γ에만 의존하기 때문이다.
• 알고리즘은 2TBSGs에서 위치 최적 전략의 존재를 이용하여 양 플레이어의 최적 위치 전략로 수렴을 보장한다.
• 증명은 매 L = log(1/γ)(n²/(1−γ))회의 반복마다 전략 시퀀스에 이전에 사용되지 않은 새로운 행동이 나타남을 입증하였으며, 총 m개의 행동이 존재하므로 이러한 단계의 수는 (m+1)L로 제한된다.
• 이 결과는 일정한 할인 요소를 가진 2TBSGs를 해결하기 위한 첫 번째 강한 다항 시간 알고리즘을 제공함으로써 장기적으로 열려 있던 문제를 해결하였다.