[논문 리뷰] Sample-efficient reinforcement learning using deep Gaussian processes

Charles W. L. Gadd, Markus Heinonen외 2명|arXiv (Cornell University)|2020. 11. 02.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 4

한 줄 요약

이 논문은 딥 가우시안 프로세스(DGP) 기반 모델을 제안하여, 가우시안 프로세스의 불확실성 측정 능력과 딥 러닝의 표현 능력을 융합함으로써 샘플 효율적인 강화학습을 달성한다. 이 방법은 복잡한 제어 과제에서 빠르고 안정적인 학습을 가능하게 하며, 초기 단계에서 뛰어난 샘플 효율성을 보이며, 반만 케티어(_HALF-CHEETAH) 과제를 단 한 번의 에피소드 상호작용만으로도 해결함으로써 이전의 GP 기반 및 신경망 기반 베이스라인을 능가한다.

ABSTRACT

Reinforcement learning provides a framework for learning to control which actions to take towards completing a task through trial-and-error. In many applications observing interactions is costly, necessitating sample-efficient learning. In model-based reinforcement learning efficiency is improved by learning to simulate the world dynamics. The challenge is that model inaccuracies rapidly accumulate over planned trajectories. We introduce deep Gaussian processes where the depth of the compositions introduces model complexity while incorporating prior knowledge on the dynamics brings smoothness and structure. Our approach is able to sample a Bayesian posterior over trajectories. We demonstrate highly improved early sample-efficiency over competing methods. This is shown across a number of continuous control tasks, including the half-cheetah whose contact dynamics have previously posed an insurmountable problem for earlier sample-efficient Gaussian process based models.

연구 동기 및 목표

• 비용이 많이 드는 실제 환경에서의 샘플 비효율성 문제를 해결하기 위해.
• 가우시안 프로세스의 불확실성 인식 모델링 능력과 딥 네트워크의 표현 능력을 융합하기 위해.
• 최소한의 상호작용 데이터로 비정상적이고 복잡한 동역학 시스템에서도 빠르고 신뢰할 수 있는 학습을 가능하게 하기 위해.
• 이전의 GP 기반 모델이 반만 케티어와 같은 복잡한 과제에서 모델 용량이 부족하여 실패하는 문제를 해결하기 위해.
• 기본 연속 제어 환경에서 개선된 샘플 효율성과 강건성을 입증하기 위해.

제안 방법

• 환경의 동역학을 모델링하기 위해 딥 가우시안 프로세스(DGPs)를 사용하며, 다중 층의 GP 회귀기들이 계층적 조합을 형성한다.
• 트레이젝터리에 대한 사후 분포를 계산하기 위해 베이지안 추론을 사용함으로써 시간에 따른 불확실성 전파를 가능하게 한다.
• 구조적 커널 설계를 통해 시스템의 부드러움과 동역학에 대한 사전 지식을 모델에 통합한다.
• 새로운 추론 기법을 통해 트레이젝터리에 대한 효율적인 근사 사후 샘플링을 가능하게 하여 모델 기반 계획을 지원한다.
• 딥 컴positions를 통해 모델 용량을 증가시키면서도 원칙적인 불확실성 추정을 유지한다.
• 수상된 트레이젝터리를 사용하여 보상 최적화를 수행하기 위해 모델 예측 제어(MPC)와 통합한다.

실험 결과

연구 질문

• RQ1 표준 GP 및 신경망 기반 베이스라인과 비교해 복수의 DGP가 모델 기반 강화학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 딥 GP 모델이 반만 케티어와 같은 접촉이 많은 환경에서 복잡하고 비부드러운 동역학을 효과적으로 포착할 수 있는가?
• RQ3 시스템의 부드러움과 구조에 대한 사전 지식을 통합함으로써 저자료 환경에서 학습의 안정성과 성능이 향상되는가?
• RQ4 여러 연속 제어 벤치마크에서 DGP 기반 방법의 초반 학습 속도와 최종 성능는 어떻게 비교되는가?
• RQ5 이전의 GP 기반 접근 방식과 달리, 단 한 에피소드의 상호작용만으로도 강력한 성능를 달성할 수 있는가?

주요 결과

• DGP-MPC 방법은 경쟁하는 방법들보다 훨씬 더 빠른 초반 학습 속도를 보였으며, 반만 케티어 환경에서 첫 에피소드부터 양의 보상을 누적하였다.
• 반만 케티어 과제에서 GP-MM과 GP-DS는 어떤 보상도 누적하지 못했고, PETS는 유사한 성능에 도달하기 위해 상당히 더 많은 상호작용이 필요했다.
• 첫 10 에피소드 동안 일관되고 높은 평균 보상을 기록했으며, 학습 속도와 안정성 면에서 모든 베이스라인을 능가했다.
• 단 몇 에피소드만으로도 강력한 성능를 달성하여, PETS 및 기타 GP 기반 모델 대비 뛰어난 초기 샘플 효율성을 보였다.
• 복잡하고 비정상적인 동역학에서도 강건한 불확실성 추정을 유지하여 최소한의 데이터로 신뢰할 수 있는 계획 수립을 가능하게 하였다.
• 10개의 독립적인 랜덤 시드에 걸쳐 성능이 안정적이며 변동성이 낮아 일관된 학습 행동을 보였다.