[논문 리뷰] The complexity of all-switches strategy improvement

John Fearnley, Rahul Savani|arXiv (Cornell University)|2016. 01. 10.

Artificial Intelligence in Games참고 문헌 38인용 수 7

한 줄 요약

이 논문은 파리티, 평균지급, 할인지급, 단순 스토케스틱 게임을 포함한 여러 유형의 게임에서 모든 스위치 전략 개선 알고리즘의 계산 복잡도를 조사한다. 엣지 스위치 문제와 최적 전략 문제 모두 PSPACE-완전임을 증명하여, 이 널리 사용되는 알고리즘적 접근의 근본적인 복잡도 경계를 설정한다.

ABSTRACT

Strategy improvement is a widely-used and well-studied class of algorithms for solving graph-based infinite games. These algorithms are parametrized by a switching rule, and one of the most natural rules is all which switches as many edges as possible in each iteration. Continuing a recent line of work, we study all-switches strategy improvement from the perspective of computational complexity. We consider two natural decision problems, both of which have as input a game G, a starting strategy s, and an edge e. The problems are: 1. The edge switch problem, namely, is the edge e ever switched by all-switches strategy improvement when it is started from s on game G? 2. The optimal strategy problem, namely, is the edge e used in the final strategy that is found by strategy improvement when it is started from s on game G? We show PSPACE-completeness of the edge switch problem and optimal strategy problem for the following settings: Parity games with the discrete strategy improvement algorithm of Voge and Jurdzinski; mean-payoff games with the gain-bias algorithm [11, 33]; and discounted-payoff games and simple stochastic games with their standard strategy improvement algorithms. We also show PSPACE-completeness of an analogous problem to edge switch for the bottom-antipodal algorithm for Acyclic Unique Sink Orientations on Cubes.

연구 동기 및 목표

• 그래프 기반 무한 게임에서 모든 스위치 전략 개선 알고리즘의 계산 복잡도를 분석하는 것.
• 알고리즘 실행 중 특정 엣지가 한 번이라도 스위치되는지 여부를 묻는 문제, 즉 엣지 스위치 문제를 규명하는 것.
• 주어진 엣지가 알고리즘이 생성하는 최종 최적 전략에 포함되는지 여부를 평가하는 것, 이를 최적 전략 문제라 한다.
• 큐브 위의 순환적 유일한 귀두 방향성에 대한 바닥-반대자취 알고리즘으로의 복잡도 분석을 확장하는 것.
• 파리티, 평균지급, 할인지급, 단순 스토케스틱 게임을 포함한 여러 게임 유형에서 두 결정 문제에 대해 PSPACE-완전성을 확립하는 것.

제안 방법

• 각 반복에서 가능한 한 많은 엣지를 스위치하여 전략 개선을 최대화하는 과정으로서 모든 스위치 전략 개선 알고리즘을 형식화하는 것.
• 어려움을 입증하기 위해 알려진 PSPACE-완전 문제들을 엣지 스위치 문제와 최적 전략 결정 문제로 감소시키는 것.
• 두 결정 문제가 PSPACE에 속해 있음을 보이기 위해 다항 시간 감소를 구축하는 것.
• 보바와 줄즈킨스키의 이산 전략 개선 알고리즘을 사용하여 파리티 게임에서 전략 개선 경로의 구조를 분석하는 것.
• 보상-편향 알고리즘을 사용하여 평균지급 게임으로 복잡도 분석을 확장하고, 할인지급 및 단순 스토케스틱 게임에는 표준 전략 개선 알고리즘을 사용하는 것.
• 바닥-반대자취 알고리즘에 대해 유사한 기법을 적용하여 큐브 위의 순환적 유일한 귀두 방향성에 대해 유사한 PSPACE-완전성을 증명하는 것.

실험 결과

연구 질문

• RQ1 모든 스위치 전략 개선 중 특정 엣지가 한 번이라도 스위치되는지 여부를 묻는 엣지 스위치 문제는 PSPACE-완전인가?
• RQ2 최종 전략에 특정 엣지가 포함되는지 여부를 묻는 최적 전략 문제는 PSPACE-완전인가?
• RQ3 PSPACE-완전성 결과는 큐브 위의 순환적 유일한 귀두 방향성에 대한 바닥-반대자취 알고리즘으로 확장되는가?
• RQ4 파리티, 평균지급, 할인지급, 단순 스토케스틱 게임을 포함한 다양한 게임 유형 간에 복잡도 결과가 일관된가?
• RQ5 모든 스위치 전략 개선 알고리즘이 실행 중 엣지 사용을 효율적으로 검증하거나 예측할 수 있는가?

주요 결과

• 보바와 줄즈킨스키의 이산 전략 개선 알고리즘을 사용한 파리티 게임에서 엣지 스위치 문제는 PSPACE-완전하다.
• 보상-편향 알고리즘을 사용한 평균지급 게임에서 최적 전략 문제는 PSPACE-완전하다.
• 할인지급 및 단순 스토케스틱 게임에서는 표준 전략 개선 알고리즘을 사용하여 엣지 스위치 문제와 최적 전략 문제 모두 PSPACE-완전하다.
• 큐브 위의 순환적 유일한 귀두 방향성에 대한 바닥-반대자취 알고리즘으로도 PSPACE-완전성 결과가 확장된다.
• 복잡도 결과는 여러 게임 유형에 걸쳐 유지되어, 모든 스위치 전략 개선에서 엣지 행동을 예측하는 데 근본적인 계산 장벽이 있음을 시사한다.
• 결과적으로 단일 엣지가 한 번이라도 스위치되거나 최종 전략에 사용되는지 여부를 판단하는 것即, 최악의 경우에도 계산적으로 비가역적임을 입증한다.