[논문 리뷰] Model-based Reinforcement Learning for Continuous Control with Posterior Sampling

Ying Fan, Yifei Ming|arXiv (Cornell University)|2020. 11. 20.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 지속적 제어를 위한 모델 기반 강화학습 알고리즘인 MPC-PSRL을 제안한다. 이 알고리즘은 신경망 특징에 대한 베이지안 선형 회귀를 사용해 사후 표본 추출을 통해 탐색을 향상시킨다. 선형 MDP에서 $\tilde{O}(H^{3/2}d\sqrt{T})$의 정규화 오차 한계를 확보하며, 이는 이전의 모델 기반 방법보다 샘플 효율성이 뛰어나면서 수렴 시 모델리스 성능을 유지한다.

ABSTRACT

Balancing exploration and exploitation is crucial in reinforcement learning (RL). In this paper, we study model-based posterior sampling for reinforcement learning (PSRL) in continuous state-action spaces theoretically and empirically. First, we show the first regret bound of PSRL in continuous spaces which is polynomial in the episode length to the best of our knowledge. With the assumption that reward and transition functions can be modeled by Bayesian linear regression, we develop a regret bound of $ ilde{O}(H^{3/2}d\sqrt{T})$, where $H$ is the episode length, $d$ is the dimension of the state-action space, and $T$ indicates the total time steps. This result matches the best-known regret bound of non-PSRL methods in linear MDPs. Our bound can be extended to nonlinear cases as well with feature embedding: using linear kernels on the feature representation $ϕ$, the regret bound becomes $ ilde{O}(H^{3/2}d_ϕ\sqrt{T})$, where $d_ϕ$ is the dimension of the representation space. Moreover, we present MPC-PSRL, a model-based posterior sampling algorithm with model predictive control for action selection. To capture the uncertainty in models, we use Bayesian linear regression on the penultimate layer (the feature representation layer $ϕ$) of neural networks. Empirical results show that our algorithm achieves the state-of-the-art sample efficiency in benchmark continuous control tasks compared to prior model-based algorithms, and matches the asymptotic performance of model-free algorithms.

연구 동기 및 목표

• 사후 표본 추출을 통한 지속적 제어에서 이론적으로 타당하고 계산적으로 구현 가능한 탐색 방법을 개발한다.
• 에피소드 길이 H에 대해 다항식, T에 대해 하위선형인 지속적 상태-행동 공간에서 PSRL의 정규화 오차 한계를 확립한다.
• 베이지안 함수 근사 기반으로 모델 불확실성을 더 잘 포착함으로써 모델 기반 RL의 샘플 효율성을 향상시킨다.
• 사후 표본 추출과 모델 예측 제어(MPC)를 조합한 방법이 지속적 제어 과제에서 모델리스 성능을 따라하거나 초월할 수 있음을 보여준다.

제안 방법

• 각 에피소드마다 사후 분포에서 단일 MDP를 샘플링하여 지속적 MDP에서 사후 표본 추출 강화학습(PSRL)을 수행한다.
• 신경망의 두 번째로 끝난 층에 대해 베이지안 선형 회귀를 적용하여 전이 및 보상 함수를 모델링함으로써 특징 공간 내 불확실성을 포착한다.
• 행동 선택을 위해 모델 예측 제어(MPC)를 사용하여 전체 에피소드 동안 샘플된 MDP를 최적화한다.
• 커널 기반 특징(예: 표현 φ에 대한 선형 커널)을 사용하여 비선형 MDP로 결과를 확장하며, 정규화 오차 한계는 $\tilde{O}(H^{3/2}d_{\phi}\sqrt{T})$가 된다.
• 모델에 대한 사후 분포를 활용하여 신뢰집합 최적화를 고려하지 않고도 자연스럽게 탐색과 이용을 균형 잡는다.
• UCB 스타일의 신뢰집합 최적화의 계산 부담을 피하기 위해 불확실성 정량화에 베이지안 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 지속적 제어에서 PSRL가 H에 대해 다항식, T에 대해 하위선형인 정규화 오차 한계를 달성할 수 있는가? 이는 최고의 UCB 기반 한계와 동일한가?
• RQ2 베이지안 함수 근사 기반 사후 표본 추출은 UCB 기반 방법과 비교해 계산 효율성과 통계 성능 측면에서 어떻게 다른가?
• RQ3 사후 표본 추출과 MPC를 활용한 모델 기반 RL이 지속적 제어 벤치마크에서 기존의 모델 기반 및 모델리스 알고리즘보다 샘플 효율성이 뛰어나게 성능을 높일 수 있는가?
• RQ4 딥 네트워크의 표현 레이어에서 베이지안 선형 회귀를 통한 불확실성 모델링은 어떤 영향을 미치는가?

주요 결과

• 논문은 지속적 MDP에서 PSRL에 대해 $\tilde{O}(H^{3/2}d\sqrt{T})$의 첫 번째 정규화 오차 한계를 확립하였으며, 이는 선형 MDP에서 최고의 UCB 기반 한계와 동일하다.
• 특징 매핑을 통해 비선형 MDP로의 확장이 가능하며, 표현 공간에 선형 커널을 사용할 경우 $\tilde{O}(H^{3/2}d_{\phi}\sqrt{T})$의 정규화 오차 한계를 얻는다.
• MPC-PSRL는 스토케스틱 지속적 제어 벤치마크에서 최신 기술 수준의 샘플 효율성을 확보하였으며, 노이즈가 추가된 연속형 카트폴 및 펜듈럼 스윙업 과제에서도 성능이 뛰어나다.
• 7-도르 기구 및 푸셔 과제에서 오라클 보상이 제공될 경우, MPC-PSRL는 PETS와 MBPO를 능가하며 더 빠르게 수렴하고 더 높은 최종 성능를 달성한다.
• 역동성과 보상이 모두 알려지지 않은 상황에서 MPC-PSRL는 이전의 모델 기반 및 모델리스 방법보다 크게 승승을 거두며, SAC의 점근적 성능을 따라잡는다.
• 결과는 신경망 특징 레이어에서 사후 표본 추출을 통한 불확실성 모델링이 PETS 및 MBPO와 같은 앙상블 기반 방법보다 더 나은 탐색을 이끌 수 있음을 확인한다.