[논문 리뷰] Strategy Iteration using Non-Deterministic Strategies for Solving Parity Games

van Dijk, Tom, Loho, Georg외 1명|arXiv (Cornell University)|2008. 06. 18.

Robotic Path Planning Algorithms참고 문헌 13인용 수 10

한 줄 요약

이 논문은 비결정적 전략을 도입함으로써, 플레이어가 고정된 행동이 아닌 비어 있지 않은 이동 선택지에서 선택하는 방식으로, 순열 게임을 해결하기 위한 전략 반복을 확장한다. Björkland 등에 의한 전략 개선 프레임워크를 적응시켜, '모든 유익한 전환' 히ュ리스틱이 국소적으로 최적의 개선을 이끌어내며, 이는 이전까지 랜덤화를 통해만 달성 가능했던 O(1.724^n)의 개선 단계 상한선을 유지하면서도, Jurdzinski와 Vöge의 알고리즘과 공유되는 평가값을 통해 호환성을 확보한다.

ABSTRACT

Symmetric strategy improvement is an algorithm introduced by Schewe et al. (ICALP 2015) that can be used to solve two-player games on directed graphs such as parity games and mean payoff games. In contrast to the usual well-known strategy improvement algorithm, it iterates over strategies of both players simultaneously. The symmetric version solves the known worst-case examples for strategy improvement quickly, however its worst-case complexity remained open. We present a class of worst-case examples for symmetric strategy improvement on which this symmetric version also takes exponentially many steps. Remarkably, our examples exhibit this behaviour for any choice of improvement rule, which is in contrast to classical strategy improvement where hard instances are usually hand-crafted for a specific improvement rule. We present a generalized version of symmetric strategy iteration depending less rigidly on the interplay of the strategies of both players. However, it turns out it has the same shortcomings.

연구 동기 및 목표

• 플레이어가 이동의 비어 있지 않은 부분집합에서 선택할 수 있도록 허용함으로써, 순열 게임에 대한 전략 반복을 비결정적 전략으로 일반화하는 것.
• 비결정적 환경에서 '모든 유익한 전환' 히ュ리스틱이 국소적으로 최적의 전략 개선을 이끌어내는지 보여주는 것.
• 플레이어 0이 탈출이 허용되는 영역에서 제안된 알고리즘과 Jurdzinski와 Vöge의 알고리즘 간 평가 함수의 동치성을 확립하는 것.
• 비결정적 전략과 히ュ리스틱을 사용하여 개선 단계 수에 대한 새로운 상한선 O(1.724^n)을 증명하는 것. 이는 이전의 결정적 상한선을 향상시키는 것이다.

제안 방법

• 각 정점에서 후속 정점의 비어 있지 않은 부분집합으로 제한함으로써 비결정적 전략을 도입함으로써, 결정적 전략 선택의 일반화를 수행한다.
• Björkland, Sandberg, Vorobyov의 전략 개선 프레임워크를 비결정적 전략에 적응시키며, '포기'를 모델링하고 실수한 플레이에서 벗어나기 위해 싱크 노드(⊥)를 사용한다.
• 경로 프로파일과 일반화된 색상 프로파일을 사용하여 평가값을 계산하며, Jurdzinski와 Vöge의 알고리즘에서 사용된 접근과 일치시킨다.
• '모든 유익한 전환' 히ュ리스틱을 적용하여 평가값을 증가시키는 모든 전략 개선을 선택함으로써, 국소적으로 최적의 다음 전략을 보장한다.
• Schewe의 최적화에서 밝혀진 바와 같이, Dijkstra의 알고리즘을 사용하여 평가값 계산을 효율적으로 수행한다.
• 이 연구에서 사용된 평가값이 플레이어 0이 포기할 수 있는 영역에서 Jurdzinski와 Vöge의 알고리즘과 동일함을 증명함으로써, 직접 비교가 가능해진다.

실험 결과

연구 질문

• RQ1 비결정적 전략을 허용함으로써 순열 게임에 대한 전략 반복을 일반화할 수 있는가? 이 경우 수렴 보장이나 효율성은 손상되지 않는가?
• RQ2 비결정적 환경에서 '모든 유익한 전환' 히ュ리스틱이 국소적으로 최적의 개선을 이끌어내며, Schewe의 알고리즘과 같은 기존 알고리즘을 복원하는 데 사용될 수 있는가?
• RQ3 플레이어 0이 싱크 노드로 탈출할 수 있는 경우, 이 연구에서 사용된 평가 함수는 Jurdzinski와 Vöge의 알고리즘과 동치인가?
• RQ4 랜덤화 없이도 비결정적 전략 개선 알고리즘이 O(1.724^n)의 개선 단계 상한선을 달성할 수 있는가?

주요 결과

• 비결정적 전략과 '모든 유익한 전환' 히ュ리스틱을 사용한 제안된 전략 반복 알고리즘은 개선 단계 수에 대해 O(1.724^n)의 상한선을 달성하며, 이는 현재까지 알려진 최고의 결정적 상한선이다.
• 플레이어 0이 포기할 수 있는 순열 게임 영역에서 이 연구에서 사용된 평가 함수는 Jurdzinski와 Vöge의 알고리즘과 정확히 일치하며, 직접 비교 및 검증이 가능하다.
• 이 알고리즘은 중간 단계의 축소 없이 직접 순열 게임에서 작동함으로써 Jurdzinski와 Vöge의 접근을 일반화하며, 동일한 점근적 복잡도 상한선을 유지한다.
• 모든 유익한 전환을 선택하는 히ュ리스틱은 각 단계에서 국소적으로 최적의 전략을 제공하며, 자연스럽고 효율적인 개선 메커니즘을 제공한다.
• 이 알고리즘은 정신적으로 Schewe의 알고리즘을 재현하며, 원래의 서술보다 더 명확하고 접근하기 쉬운 표현을 제공한다.
• O(1.724^n)의 상한선은 이전까지는 랜덤화를 통해만 달성 가능했으나, 이 연구는 이를 결정적으로 달성함으로써 결정적 전략 반복의 분야에서 중요한 진전을 이룬다.