[논문 리뷰] PEGASUS: A Policy Search Method for Large MDPs and POMDPs

Andrew Y. Ng, Michael I. Jordan|arXiv (Cornell University)|2013. 01. 16.

Reinforcement Learning in Robotics참고 문헌 17인용 수 368

한 줄 요약

PEGASUS는 일반적인 (PO)MDP를 결정성 전이를 가진 등가 POMDP로 변환함으로써 대규모 마르코프 결정 과정(MDPs) 및 부분 관측 가능 MDPs(POMDPs)를 위한 새로운 정책 탐색 방법을 제안한다. 이는 표본 효율적인 가치 추정을 통해 정책 최적화를 효율적으로 수행하며, 시간 수평에 대해 다항수준의 표본 복잡도를 달성한다. 이는 이론적 보장과 함께 이산 및 연속 제어 과제(예: 자전거 타기 학습)에서의 실증적 성공을 제공한다.

ABSTRACT

We propose a new approach to the problem of searching a space of policies for a Markov decision process (MDP) or a partially observable Markov decision process (POMDP), given a model. Our approach is based on the following observation: Any (PO)MDP can be transformed into an "equivalent" POMDP in which all state transitions (given the current state and action) are deterministic. This reduces the general problem of policy search to one in which we need only consider POMDPs with deterministic transitions. We give a natural way of estimating the value of all policies in these transformed POMDPs. Policy search is then simply performed by searching for a policy with high estimated value. We also establish conditions under which our value estimates will be good, recovering theoretical results similar to those of Kearns, Mansour and Ng (1999), but with "sample complexity" bounds that have only a polynomial rather than exponential dependence on the horizon time. Our method applies to arbitrary POMDPs, including ones with infinite state and action spaces. We also present empirical results for our approach on a small discrete problem, and on a complex continuous state/continuous action problem involving learning to ride a bicycle.

연구 동기 및 목표

• 고차원적 또는 연속적인 상태 및 행동 공간을 가진 대규모 MDPs 및 POMDPs에서 정책 탐색의 과제를 해결하기 위해.
• 일반적인 (PO)MDP를 결정성 전이를 가진 등가 POMDP로 변환하여 정책 탐색의 복잡도를 감소시키기 위해.
• 증명 가능하게 좋은 표본 복잡도를 갖는 효율적인 정책 최적화를 가능하게 하는 가치 추정 방법을 개발하기 위해.
• 이전 방법들이 지수적 의존성으로 인해 악화되는 것과는 달리, 시간 수평에 대해 다항수준의 표본 복잡도에 이르는 이론적 경계를 확보하기 위해.
• 기존의 방법이 어려움을 겪는 이산적이고 복잡한 연속 상태/연속 행동 문제에 대한 적용성과 효과성을 입증하기 위해.

제안 방법

• 모든 (PO)MDP를 어떤 행동에 대해서도 결정성 전이를 갖는 등가 POMDP로 변환하기.
• 변환된 결정성 전이 POMDP에서 정책의 가치를 추정하기 위해 자연 정책 평가 기법을 사용하기.
• 변환된 공간에서 정책의 추정 가치를 최적화하여 정책 탐색을 수행하기.
• 결정성 전이의 구조를 활용하여 표본 효율성을 향상시키고 가치 추정의 분산을 감소시키기.
• 시간 수평에 대해 다항수준의 의존성을 갖는 표본 복잡도 경계를 확립하기 위해 이론적 분석을 적용하기.
• 이산 문제와 연속 제어 과제(자전거 타기)에서의 실증적 평가를 통해 성능를 검증하기.

실험 결과

연구 질문

• RQ1 문제의 구조적 변환을 통해 대규모 또는 연속 상태 MDPs 및 POMDPs에서의 정책 탐색을 더 표본 효율적으로 만들 수 있는가?
• RQ2 결정성 전이를 갖는 POMDP로 (PO)MDP를 변환하는 것이 정책 가치를 유지하고 더 나은 최적화를 가능하게 하는가?
• RQ3 이전 연구에서 관찰된 지수적 의존성과는 달리, POMDP의 정책 탐색에서 다항수준의 표본 복잡도를 달성할 수 있는가?
• RQ4 기존 방법이 어려움을 겪는 복잡한 연속 제어 과제에서 제안된 방법의 성능는 어떠한가?
• RQ5 이 프레임워크 하에서 가치 추정 및 정책 최적화에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 시간 수평에 대해 다항수준의 의존성만 갖는 표본 복잡도 경계를 달성하여 이전의 지수적 경계에 비해 크게 향상되었다.
• 결정성 전이 POMDP로의 변환은 정책 가치를 유지하므로 변환된 공간에서 유효한 정책 탐색이 가능하다.
• 실증 결과는 이산 MDP와 자전거 타기와 같은 도전적인 연속 상태/연속 행동 문제에서 성공적인 정책 학습을 보여준다.
• 변환된 POMDP에서 사용된 가치 추정 기법은 안정적이고 정확한 정책 평가를 제공한다.
• 이론적 분석은 약한 가정 하에서도 강력한 일반화 성질을 유지함을 확인한다.
• 이 방법은 무한한 상태 및 행동 공간을 가진 POMDP를 포함한 임의의 POMDP에 적용 가능하다.