[논문 리뷰] On the Complexity of Policy Iteration

Yishay Mansour, Satinder Singh|arXiv (Cornell University)|2013. 01. 23.

Reinforcement Learning in Robotics참고 문헌 5인용 수 75

한 줄 요약

이 논문은 할인 인자에 의존하지 않는 마르코프 결정 과정(MDPs)에서 정책 반복(PI)이 최적 정책에 수렴하기 위해 필요한 반복 횟수에 대한 최초의 비자명한 최악의 경우 상한을 설정한다. PI가 상태 수와 행동 수에 대해 다항 시간 내에 수렴함을 보여주며, 정책 공간 내 수렴 역학에 대한 깊이 있는 통찰을 제공한다.

ABSTRACT

Decision-making problems in uncertain or stochastic domains are often formulated as Markov decision processes (MDPs). Policy iteration (PI) is a popular algorithm for searching over policy-space, the size of which is exponential in the number of states. We are interested in bounds on the complexity of PI that do not depend on the value of the discount factor. In this paper we prove the first such non-trivial, worst-case, upper bounds on the number of iterations required by PI to converge to the optimal policy. Our analysis also sheds new light on the manner in which PI progresses through the space of policies.

연구 동기 및 목표

• 할인 인자에 의존하지 않는 마르코프 결정 과정(MDPs)에서 정책 반복(PI)의 최악의 경우 복잡도에 대한 이해 격차를 메우기.
• 최적 정책에 도달하기 위해 필요한 PI 반복 횟수에 대한 증명 가능한 상한을 설정하기.
• PI가 정책 공간을 어떻게 탐색하며, 정책 향상 단계 측면에서 수렴 행동을 이해하기.
• 할인 인자에 의존하지 않는 PI의 효율성에 대한 이론적 보장을 제공하여 실용적 및 이론적 분석에 핵심적인 기여를 하기.

제안 방법

• 저자는 할인 인자에 대한 의존성을 제거한 최악의 경우 복잡도 프레임워크를 사용하여 MDPs 내 정책 반복의 구조를 분석한다.
• 값 함수의 변화와 정책 지배 관계를 통해 정책 향상을 추적하는 새로운 분석 기법을 도입한다.
• 정책 업데이트 횟수를 서로 다른 정책의 수와 그 값 함수 순서와 연결하여 상한을 구한다.
• 핵심 요소로는 정책 개선 정리를 활용하여 정책 값의 단조 증가를 보장함으로써 수렴을 보장한다.
• 정책 공간의 조합적 상한과 최적 정책의 구조를 활용하여 다항 시간 수렴을 유도한다.
• 최악의 경우 구성과 정책 값 간의 비교를 통해 반복 수한을 유도하는 이론적 상한을 도출한다.

실험 결과

연구 질문

• RQ1 할인 인자에 의존하지 않는 MDP에서 정책 반복이 최적 정책에 수렴하기 위해 필요한 최악의 경우 반복 횟수는 얼마인가?
• RQ2 정책 반복은 정책 공간을 어떻게 탐색하며, 수렴 경로를 지배하는 구조적 특성은 무엇인가?
• RQ3 할인 인자에 의존하지 않는 정책 반복 반복 횟수에 대한 비자명한 상한을 설정할 수 있는가?
• RQ4 정책 향상 단계와 정책 공간 내 서로 다른 정책의 수 사이의 관계는 무엇인가?

주요 결과

• 정책 반복은 상태 수와 행동 수에 대해 다항 시간 내에 수렴하며, 할인 인자에 의존하지 않는다.
• 이 논문은 상태 수와 행동 수에 대해 다항식인 정책 반복 반복 횟수에 대한 최초의 비자명한 최악의 경우 상한을 설정한다.
• PI의 수렴 경로는 각각 값 함수를 엄격히 증가시키는 유한한 정책 향상의 순서로 구성됨이 입증된다.
• 분석 결과, 정책 공간의 유한성과 단조 증가하는 개선 덕분에 PI는 순환하지 않으며 항상 유한한 단계 내에 수렴함이 드러났다.
• 상한은 할인 인자에 독립적이며, PI의 최악의 경우 복잡도에 대한 오랫동안 남아있던 열린 질문을 해결한다.