[논문 리뷰] Primal-Dual $π$ Learning: Sample Complexity and Sublinear Run Time for Ergodic Markov Decision Problems

Mengdi Wang|arXiv (Cornell University)|2017. 10. 17.

Reinforcement Learning in Robotics참고 문헌 18인용 수 35

한 줄 요약

이 논문은 평균 수상 보상 MDP를 해결하기 위해 가치 함수와 정책 간 선형 이중성의 이중성 원리를 활용하는 모델리스 강화학습 방법인 Primal-Dual π 학습을 소개한다. 이 방법은 Õ((τ·t*_{mix})²|S||A|/ε²)의 최적 샘플 복잡도와 비선형 실행 시간을 달성하여 할인 인자를 사용하지 않고도 효율적인 정책 최적화를 가능하게 한다.

ABSTRACT

Consider the problem of approximating the optimal policy of a Markov decision process (MDP) by sampling state transitions. In contrast to existing reinforcement learning methods that are based on successive approximations to the nonlinear Bellman equation, we propose a Primal-Dual $π$ Learning method in light of the linear duality between the value and policy. The $π$ learning method is model-free and makes primal-dual updates to the policy and value vectors as new data are revealed. For infinite-horizon undiscounted Markov decision process with finite state space $S$ and finite action space $A$, the $π$ learning method finds an $ε$-optimal policy using the following number of sample transitions $$ ilde{O}( \frac{(τ\cdot t^*_{mix})^2 |S| |A| }{ε^2} ),$$ where $t^*_{mix}$ is an upper bound of mixing times across all policies and $τ$ is a parameter characterizing the range of stationary distributions across policies. The $π$ learning method also applies to the computational problem of MDP where the transition probabilities and rewards are explicitly given as the input. In the case where each state transition can be sampled in $ ilde{O}(1)$ time, the $π$ learning method gives a sublinear-time algorithm for solving the averaged-reward MDP.

연구 동기 및 목표

• 무한 수평 평균 수상 보상 MDP에서 인위적인 할인을 피하는 모델리스 강화학습 방법을 개발하는 것.
• 수렴 분석이 복잡해지는 할인되지 않은 MDP를 분석하는 데 도전하는 것.
• 오직 샘플된 상태 전이만을 사용하여 에르고딕 MDP를 해결하기 위해 낮은 샘플 복잡도와 비선형 실행 시간을 동시에 달성하는 것.
• 전체 MDP 모델이 명시적으로 제공된 경우에도 효율적인 계산 프레임워크를 구축하는 것.
• 샘플 및 실행 시간 복잡도가 동일한 것을 입증하여 최대의 계산 효율성을 반영하는 것.

제안 방법

• 새로운 상태 전이가 관찰될 때마다 정책과 가치 벡터 추정치를 동시에 개선하기 위해 이중성 업데이트를 사용한다.
• MDP에서 가치 함수와 정책 간 선형 이중성에 기반하여 벨만 방정식을 안장점 문제로 재구성한다.
• 알고리즘은 랜덤화된 정책과 보조 가치 벡터를 유지하며, 샘플된 전이로부터 유도된 확률적 경사도를 사용해 이를 업데이트한다.
• 샘플링 오라클(SO)이 O(1) 시간 내에 상태-행동-보상 전이를 제공하여 효율적인 온라인 학습을 가능하게 한다.
• 각 반복에서 한 개의 전이를 샘플링하고 좌표 업데이트를 수행하는 K회 반복의 랜덤화 반복 기법을 사용한다.
• 합집합 경계와 농도 불등식을 사용하여 최종 정책의 고확률 ε-최적성 보장을 확보한다.

실험 결과

연구 질문

• RQ1 할인 인자를 사용하지 않고도 평균 수상 보상 MDP를 해결하기 위한 모델리스 강화학습 방법이 비선형 실행 시간을 달성할 수 있는가?
• RQ2 유한한 상태 및 행동 공간을 가진 할인되지 않은 에르고딕 MDP에서 ε-최적 정책을 학습하기 위한 최적 샘플 복잡도는 무엇인가?
• RQ3 혼합 시간(t*_{mix})과 정적 분포의 범위(τ)는 샘플 및 실행 시간 복잡도에 어떤 영향을 미치는가?
• RQ4 MDP의 이중성 구조를 활용하여 샘플 및 실행 시간 복잡도가 일치하는 방법을 설계할 수 있는가?
• RQ5 O((τ·t*_{mix})²|S||A|/ε²)의 샘플과 업데이트만으로 고확률로 ε-최적성을 달성할 수 있는가?

주요 결과

• Primal-Dual π 학습 방법은 에르고딕 MDP에서 ε-최적 정책을 찾기 위해 Õ((τ·t*_{mix})²|S||A|/ε²)의 샘플 복잡도를 달성한다.
• 상태 전이가 O(1) 시간 내에 샘플 가능한 경우, 이 방법은 입력 크기 대비 비선형 시간 내에서 실행되며, 구체적으로 Õ((τ·t*_{mix})²|S||A|/ε²)의 복잡도를 가진다.
• K=O(log(1/δ))의 반복 수를 사용하여 최소 1−δ의 확률로 ε-최적성을 보장하며, 정책 평가 및 가치 추정에 대한 고확률 경계를 확보한다.
• 샘플 복잡도와 실행 시간 복잡도가 점점 더 동일하게 수렴하여, 각 샘플이 최대의 계산 효율성으로 사용됨을 나타낸다.
• 이 방법은 알려지지 않은 MDP에서의 강화학습과 알려진 모델이 있는 계산적 MDP 해법 양쪽 모두에 적용 가능하여 광범위한 적용 가능성을 보여준다.
• 이론적 분석을 통해 이 방법은 할인 인자를 피하면서도 강력한 수렴 보장을 유지함으로써 이전 접근법의 주요 한계를 극복한다.