[논문 리뷰] A complexity analysis of Policy Iteration through combinatorial matrices arising from Unique Sink Orientations

Romain Hollanders, Balázs Gerencsér외 2명|arXiv (Cornell University)|2014. 07. 16.

Formal Methods in Verification참고 문헌 7인용 수 3

한 줄 요약

이 논문은 초입방향성의 비순환 고유정점 방향성(AUSOs)에 대해 정책 반복(PI)의 복잡도를 분석하며, PI의 행동을 연구하기 위해 새로운 조합적 프레임워크인 순서규칙성(OR)을 도입한다. 이는 하이퍼큐브의 AUSOs에 대해 PI의 단계가 피보나치 수열을 따른다는 하잔과 즈윅의 추측을 반증하고, 기존의 Ω(1.4142ⁿ)보다 향상된 Ω(1.4269ⁿ)의 새로운 지수하한을 설정한다.

ABSTRACT

Unique Sink Orientations (USOs) are an appealing abstraction of several major optimization problems of applied mathematics such as for instance Linear Programming (LP), Markov Decision Processes (MDPs) or 2-player Turn Based Stochastic Games (2TBSGs). A polynomial time algorithm to find the sink of a USO would translate into a strongly polynomial time algorithm to solve the aforementioned problems---a major quest for all three cases. In addition, we may translate MDPs and 2TBSGs into the problem of finding the sink of an acyclic USO of a cube, which can be done using the well-known Policy Iteration algorithm (PI). The study of its complexity is the object of this work. Despite its exponential worst case complexity, the principle of PI is a powerful source of inspiration for other methods. As our first contribution, we disprove Hansen and Zwick's conjecture claiming that the number of steps of PI should follow the Fibonacci sequence in the worst case. Our analysis relies on a new combinatorial formulation of the problem---the so-called Order-Regularity formulation (OR). Then, for our second contribution, we (exponentially) improve the $Ω(1.4142^n)$ lower bound on the number of steps of PI from Schurr and Szabó in the case of the OR formulation and obtain an $Ω(1.4269^n)$ bound.

연구 동기 및 목표

• 초입방향성의 비순환 고유정점 방향성(AUSOs)에 대해 정책 반복(PI)의 최악의 복잡도를 분석하는 것.
• 하잔과 즈윅의 추측, 즉 최악의 경우 PI 단계가 피보나치 수열을 따른다는 것의 타당성을 검토하는 것.
• AUSOs에서 PI의 행동을 모델링하고 분석하기 위해 새로운 조합적 프레임워크인 순서규칙성(OR)을 개발하는 것.
• PI가 AUSOs에서 요구하는 단계 수에 대한 기존 하한을 향상시키는 것.
• 새로운 하한이 실제로 마르코프 결정 과정(MDPs)과 2TBSGs에서 유래된 AUSO 인스턴스로 확장될 수 있는지 탐색하는 것.

제안 방법

• AUSOs에서 정책 반복의 행동을 모델링하기 위한 새로운 조합적 추상화인 순서규칙성(OR) 형식을 도입한다.
• 반복적으로 행렬을 구성하고 뒤집어, 더 큰 OR 행렬을 탐색하는 백앤포스터 서치 알고리즘(알고리즘 2)을 제안한다.
• 랜덤 초기 행렬에서 시작하여 강력한 OR 성질을 가진 후보 행렬을 생성하기 위해 재귀적 구성(알고리즘 1)을 사용한다.
• 강력한 순서규칙성 성질이 반복 과정 전반에 걸쳐 유지되도록 보장하기 위해 역변환(B^rev)을 적용한다.
• OR 프레임워크를 사용하여 PI의 단계 수를 분석하고, 알고리즘의 전이를 구조화된 행렬 공간 내 이동으로 모델링한다.
• 구성된 행렬의 행 수(즉, PI 단계 수)가 반복 과정 전반에 걸쳐 단조롭게 증가함을 증명하여, 각 단계에서의 개선을 보장한다.

실험 결과

연구 질문

• RQ1 하잔과 즈윅의 추측에 따르면, AUSOs에서 정책 반복의 단계 수가 최악의 경우 피보나치 수열을 따른다고 하는데, 이것이 맞는가?
• RQ2 새로운 조합적 프레임워크를 사용하여 AUSOs에서 PI에 대한 기존의 하한 Ω(1.4142ⁿ)을 향상시킬 수 있는가?
• RQ3 순서규칙성(OR) 형식은 AUSOs에서 PI의 복잡도를 분석하기 위해 타당하고 유용한 추상화인가?
• RQ4 새로운 하한 Ω(1.4269ⁿ)은 MDPs나 2TBSGs에서 유래된 실제 AUSO 인스턴스로 확장될 수 있는가?
• RQ5 OR 행렬에 있는 구조적 성질들이 실제로 유효한 AUSOs로 매핑될 수 있는가? 이를 통해 하한이 실제 AUSO 문제에 적용 가능해지는가?

주요 결과

• 논문은 하잔과 즈윅의 추측, 즉 최악의 경우 PI 단계 수가 피보나치 수열을 따른다는 것을 반증한다.
• AUSOs에서 PI의 단계 수에 대해 새로운 지수하한 Ω(1.4269ⁿ)을 설정하였으며, 이는 이전의 Ω(1.4142ⁿ) 하한보다 향상된 것이다.
• 순서규칙성(OR) 형식은 AUSOs에서 PI의 행동을 모델링하고 분석하기 위한 강력한 새로운 조합적 추상화로 도입된다.
• 백앤포스터 서치 알고리즘(알고리즘 2)은 각 반복에서 OR 행렬의 크기를 단조롭게 증가시키며, 이를 통해 진전이 보장됨을 증명한다.
• OR 프레임워크는 행렬 뒤집기와 재귀적 구성에 대해 안정적이며, 점점 더 큰 OR 행렬을 생성하는 데에 기여한다.
• 만약 구성된 인스턴스에 대해 OR 행렬에서 AUSOs로의 매핑이 확립될 수 있다면, 새로운 하한이 실제 AUSO 문제로 확장될 가능성은 여전히 존재한다.