[논문 리뷰] Improved bound on the worst case complexity of Policy Iteration

Romain Hollanders, Balázs Gerencsér외 2명|Repository of the Academy's Library (Library of the Hungarian Academy of Sciences)|2014. 10. 28.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 마르코프 결정 과정(MDPs)을 해결하는 데 소요되는 정 politicy iteration (PI)의 최악의 경우 상한을 향상시킨다. 상태 수 $n$과 상태당 최대 행동 수 $k$에 대해, 수렴에 필요한 반복 횟수의 상한이 $rac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 이내임을 증명한다. 이는 15년 전 Mansour & Singh(1999)의 결과 이후 처음으로 향상된 상한이며, 이 상한이 완화된 순서열에 대해 최적임을 보여주며, 향후 더 강력한 개선을 위해서는 PI 순서열의 깊은 구조적 분석이 필요함을 시사한다.

ABSTRACT

Solving Markov Decision Processes (MDPs) is a recurrent task in engineering. Even though it is known that solutions for minimizing the infinite horizon expected reward can be found in polynomial time using Linear Programming techniques, iterative methods like the Policy Iteration algorithm (PI) remain usually the most efficient in practice. This method is guaranteed to converge in a finite number of steps. Unfortunately, it is known that it may require an exponential number of steps in the size of the problem to converge. On the other hand, many open questions remain considering the actual worst case complexity. In this work, we provide the first improvement over the fifteen years old upper bound from Mansour & Singh (1999) by showing that PI requires at most k/(k-1)*k^n/n + o(k^n/n) iterations to converge, where n is the number of states of the MDP and k is the maximum number of actions per state. Perhaps more importantly, we also show that this bound is optimal for an important relaxation of the problem.

연구 동기 및 목표

• 마르코프 결정 과정(MDPs)을 해결하는 데 소요되는 정책 반복(PI)의 최악의 경우 반복 횟수에 대한 상한을 향상시키기.
• 최고의 알려진 상한(Mansour & Singh, 1999)과 PI 수렴에 대한 알려진 하한 사이의 오랜 격차를 메우기.
• 새로운 상한이 실제 PI 순서열의 자연스러운 완화된 버전에 대해 최적임을 보여주며, 향후 개선을 위해서는 실제 PI 순서열의 더 깊은 조합적 구조를 활용해야 함을 시사하기.
• 향후 연구를 위해 더 강력한 상한을 얻기 위한 잠재적 접근으로, 격자 기반 AUSOs와 이진 행렬 표현과 같은 고급 조합적 프레임워크 탐색하기.

제안 방법

• 실제 PI 순서열이 따라야 할 조합 조건의 부분 집합을 만족하는 완화된 정책 순서열인 '가짜-PI-순서열(Pseudo-PI-sequence)'의 개념을 도입하기.
• 모든 가짜-PI-순서열에 대해 향상된 상한 $ olimits\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 이 성립함을 증명하기.
• 정확히 이 길이인 $ olimits\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 를 갖는 명시적 가짜-PI-순서열을 구성하여, 이 상한이 이 완화된 클래스에 대해 최적임을 입증하기.
• 정책의 부분 순서를 모델링하고 PI 단계의 구조를 분석하기 위해 격자 기반의 순환 없음 유일 정점 방향화(Acyclic Unique Sink Orientations, AUSOs) 프레임워크를 활용하기.
• 각 행이 정책에 대응하는 이진 행렬 표현을 통해 PI 순서열을 모델링하고, 정책 전이를 모델링하기 위해 열 기반 변화에 조합 조건을 도입하기.
• 시뮬레이션과 구조적 분석을 통해 피보나치 유사 상한이 특히 $k=2$일 경우에 완화된 행렬 모델에서 성립할 수 있음을 시사하며, 향후 개선 가능성을 시사하기.

실험 결과

연구 질문

• RQ1 마르코프 결정 과정(MDPs)에서 정책 반복(PI)의 최악의 경우 반복 횟수에 대한 상한은 Mansour & Singh(1999)의 15년 전 결과를 초월해 향상시킬 수 있는가?
• RQ2 새로운 상한 $ olimits\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 이나 특정 자연스러운 PI 순서열 완화 버전에 대해 최적인가?
• RQ3 가짜-PI-순서열에 의해 포괄되지 않는 실제 PI 순서열의 추가 조합적 성질은 어떤 것인가? 이 성질들이 더 강력한 상한을 얻는 데 필요한가?
• RQ4 PI 순서열의 구조는 격자 기반 AUSOs나 이진 행렬 표현을 통해 더 잘 특성화될 수 있는가? 이를 통해 개선된 복잡도 상한을 도출할 수 있는가?
• RQ5 특히 $k=2$일 경우, 완화된 이진 행렬 모델에서 피보나치 수열이 PI 순서열 길이의 타당한 상한이 되는가?

주요 결과

• 논문은 마르코프 결정 과정(MDPs)에서 정책 반복(PI)이 수렴하기 위해 필요한 반복 횟수에 대해 $ olimits\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 의 새로운 상한을 확립한다.
• 이 상한은 Mansour & Singh(1999)의 이전 최고의 알려진 상한 $13 \cdot \frac{k^n}{n}$ 을 향상시키며, 15년 만에 처음으로 개선된 것이다.
• 이 상한이 '가짜-PI-순서열'이라고 불리는 완화된 순서열 클래스에 대해 최적임이 입증되었으며, 정확히 이 길이를 갖는 구조적 구성이 존재한다.
• 결과적으로, 실제 PI 순서열의 더 깊은 구조적 성질을 반영하지 못하는 가짜-PI-순서열의 범주를 넘어서는 더 강력한 상한을 얻기 위해서는 실제 PI 순서열의 더 깊은 조합적 특성 분석이 필요하다는 것을 시사한다.
• 시뮬레이션 결과, $k=2$일 경우 완화된 이진 행렬 모델에서 피보나치 기반 상한 $F_{n+2}$ 가 성립할 수 있음을 시사하며, 향후 더 강력한 상한을 얻는 데 잠재적 길을 제시한다.
• 논문은 AUSO 프레임워크와 행렬 기반 조합 모델이 향후 연구를 위한 유망한 방향임을 밝히며, 상한과 하한 사이의 격차를 줄이기 위한 잠재적 접근을 제시한다.