[논문 리뷰] Bounded Optimal Exploration in MDP

Kenji Kawaguchi|arXiv (Cornell University)|2016. 04. 05.

Reinforcement Learning in Robotics참고 문헌 23인용 수 7

한 줄 요약

이 논문은 이론적 엄밀함과 실용적 효율성을 동시에 확보하기 위해 탐색을 위한 유연한 프레임워크를 제안한다. 이는 유계 최적 탐색을 도입하여 만족스러운 정책으로의 수렴 속도를 높인다. 이론적 오차 한계와 평균 손실 한계를 갖춘 알고리즘을 이산 및 연속 MDP에 적용하여 전통적인 PAC-MDP 방법에 비해 탐색 시간을 크게 단축하면서도 거의 최적의 성능을 달성한다.

ABSTRACT

Within the framework of probably approximately correct Markov decision processes (PAC-MDP), much theoretical work has focused on methods to attain near optimality after a relatively long period of learning and exploration. However, practical concerns require the attainment of satisfactory behavior within a short period of time. In this paper, we relax the PAC-MDP conditions to reconcile theoretically driven exploration methods and practical needs. We propose simple algorithms for discrete and continuous state spaces, and illustrate the benefits of our proposed relaxation via theoretical analyses and numerical examples. Our algorithms also maintain anytime error bounds and average loss bounds. Our approach accommodates both Bayesian and non-Bayesian methods.

연구 동기 및 목표

• 이론적으로 타당한 탐색 방법과 더 빠른 정책 수렴을 위한 실용적 요구 사항을 조화시키기 위해.
• 일반적으로 과도한 탐색과 열악한 단기 성능를 유도하는 엄격한 PAC-MDP 조건을 완화하기 위해.
• 이산 및 연속 상태 공간 모두에서 언제든지 오차 한계와 평균 손실 한계를 유지하는 알고리즘을 개발하기 위해.
• 통합된 프레임워크 내에서 베이지안 및 비베이지안 방법을 모두 지원하기 위해.
• 문제 복잡도와 원하는 정확도에 따라 유리하게 스케일링되는 탐색에 대한 명시적 런타임 한계를 제공하기 위해.

제안 방법

• 주어진 샘플 수로 얼마나 많은 향후 전이를 학습할 수 있는지 정량화하기 위해 h-도달 가능 모델의 개념을 도입하여 유계 탐색을 가능하게 한다.
• 이론적 수렴보다 실용적 시간 제약에 중점을 두어 PAC-MDP의 도달 가능성 기반 완화를 정의한다.
• 이산 MDP에 적합한 알고리즘(유계 도달 가능 모델을 사용한 모델 학습 기반)과 연속 MDP에 적합한 알고리즘(기저 함수를 사용한 함수 근사 기반)을 제안한다.
• 연속 영역에서의 계획을 위해 피팅된 값 반복과 근사적 최적화를 활용하며, 오차 한계는 농도 불등식을 통해 유도한다.
• 확률적 농도 기법과 모델 업데이트 동역학을 활용하여 언제든지 오차 한계와 평균 손실 한계를 유도한다.
• 추정 오차를 샘플 수와 신뢰 수준에 따라 거리 함수와 매개변수화된 모델 업데이트를 통해 유계로 제한한다.

실험 결과

연구 질문

• RQ1 전통적인 PAC-MDP 방법보다 더 빨리 거의 최적의 성능을 달성할 수 있는 탐색 전략을 설계할 수 있는가?
• RQ2 오차와 손실에 대한 이론적 보장을 유지하면서도 PAC-MDP 조건을 어떻게 완화할 수 있는가?
• RQ3 높은 확률로 원하는 수준의 정책 성능을 달성하기 위해 필요한 최소 탐색 시간은 얼마인가?
• RQ4 유계 탐색 하에서 언제든지 오차 한계와 평균 손실 한계는 어떻게 행동하는가?
• RQ5 제안된 프레임워크는 베이지안 및 비베이지안 방법을 통합적으로 지원할 수 있는가?

주요 결과

• 제안된 알고리즘은 기존 표준 PAC-MDP 접근 방식에 비해 탐색 시간을 크게 줄인 유계 최적 탐색 영역을 달성한다.
• 이산 MDP의 경우, 필요한 탐색 시간은 $ O\big(\frac{L^4 n_S^2 \bar{n}^2 \text{ln}^2 m}{\theta^4} \text{ln} \frac{n_S}{\theta} \big) $ 로 유계이며, 여기서 $ L $, $ n_S $, $ \bar{n} $, $ m $ 은 문제에 따라 정의되는 상수이다.
• 연속 MDP의 경우, 언제든지 오차 한계는 $ O\big( \big(\frac{L^4 n_S^2 \bar{n}^2 \text{ln}^2 m}{t(1-\rho)}\big)^{1/5} \text{ln}^{3/5} \frac{n_S}{\theta} \big) $ 로 스케일링되며, 시간이 지남에 따라 오차가 감소함을 나타낸다.
• 평균 손실 한계는 시간 단위별 언제든지 오차를 합산하여 유도되며, 장기적인 성능 안정성을 보장한다.
• 알고리즘 2의 명시적 탐색 런타임은 $ O\big( \frac{h^2 L^2 n_S \bar{n} \text{ln} m}{\theta^3 (1-\rho)} \text{ln}^2 \frac{n_S}{\theta} \text{ln} \frac{m^2 n_S h}{\theta} \big) $ 로 표현되며, 문제 크기와 신뢰 수준에 따라 유리하게 스케일링됨을 보여준다.
• Mountain Car 및 HIV 치료 도메인에서의 수치 실험 결과, 표준 PAC-MDP 방법에 비해 더 빠른 수렴과 향상된 실용적 성능을 확인하였다.