[논문 리뷰] Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey

Aske Plaat, Walter A. Kosters외 1명|arXiv (Cornell University)|2020. 08. 11.

Reinforcement Learning in Robotics참고 문헌 132인용 수 7

한 줄 요약

이 종합 검토는 고차원 문제를 위한 딥 모델기반 강화학습의 최근 발전을 포괄적으로 개요하며, 주어진 전이에서의 계획, 학습된 동역학 모델에서의 계획, 계획과 전이의 엔드투엔드 학습이라는 세 가지 접근 방식으로 방법을 분류한다. 잠재 모델, 불확실성 모델링, 커리큘럼 학습과 같은 핵심 기법을 강조하며, 샘플 효율성, 전이 학습, 다중 에이전트 시스템 분야의 향후 연구 방향을 밝힌다.

ABSTRACT

Deep reinforcement learning has shown remarkable success in the past few years. Highly complex sequential decision making problems have been solved in tasks such as game playing and robotics. Unfortunately, the sample complexity of most deep reinforcement learning methods is high, precluding their use in some important applications. Model-based reinforcement learning creates an explicit model of the environment dynamics to reduce the need for environment samples. Current deep learning methods use high-capacity networks to solve high-dimensional problems. Unfortunately, high-capacity models typically require many samples, negating the potential benefit of lower sample complexity in model-based methods. A challenge for deep model-based methods is therefore to achieve high predictive power while maintaining low sample complexity. In recent years, many model-based methods have been introduced to address this challenge. In this paper, we survey the contemporary model-based landscape. First we discuss definitions and relations to other fields. We propose a taxonomy based on three approaches: using explicit planning on given transitions, using explicit planning on learned transitions, and end-to-end learning of both planning and transitions. We use these approaches to organize a comprehensive overview of important recent developments such as latent models. We describe methods and benchmarks, and we suggest directions for future work for each of the approaches. Among promising research directions are curriculum learning, uncertainty modeling, and use of latent models for transfer learning.

연구 동기 및 목표

• 로봇 및 복잡한 제어 작업과 같은 고차원 환경에서 딥 강화학습의 높은 샘플 복잡도 문제를 해결하기 위해.
• 정확한 동역학 모델을 학습시켜 환경 상호작용 샘플 수를 줄일 수 있는 모델기반 딥 RL의 역할을 분석하기 위해.
• 높은 용량의 딥 네트워크를 동역학 모델링에 훈련시킬 때 샘플 복잡도가 증가하지 않도록 방지하는 데 도전 과제를 규명하기 위해.
• 잠재 표현, 불확실성 추정, 커리큘럼 학습이 샘플 효율성과 일반화 능력을 향상시키는 데 어떤 역할을 하는지 탐색하기 위해.
• 특히 전이 학습 및 다중 에이전트 설정에서 향후 연구를 위한 체계적인 분류 체계와 로드맵을 제공하기 위해.

제안 방법

• 모델기반 딥 RL을 세 가지 범주로 분류하는 분류 체계를 제안함: (1) 주어진 전이에서의 계획, (2) 학습된 전이에서의 계획, (3) 계획과 동역학의 엔드투엔드 학습.
• 고차원 관측치를 낮은 차원의 학습 가능한 동역학 모델로 압축하기 위해 잠재 공간 표현(예: VAE, GAN)을 사용하는 방법을 검토함.
• 기존 제어 아키텍처를 영감으로 삼은, 가역성 있는 계획 구성 요소(예: 가역성 있는 신경망)의 중요성을 강조함.
• 샘플 효율성과 강건성을 향상시키기 위해 불확실성 모델링(예: 앙상블 또는 베이지안 신경망 사용)의 통합을 논의함.
• 작업 복잡도를 점진적으로 증가시키는 커리큘럼 학습 전략이 고차원 도메인에서 훈련을 가속화하는 데 기여하는 방식을 설명함.
• 자기 플레이와 계층적 계획을 결합한 모델기반 방법이 적용된 다중 에이전트 벤치마크(예: 스타크래프트, DOTA, 캡처 더 플래그)를 검토함.

실험 결과

연구 질문

• RQ1 높은 용량의 딥 네트워크를 동역학 모델링에 효율적으로 훈련시킬 수 있는 방법은 무엇이며, 이는 모델기반 RL의 샘플 효율성 이점을 상실하지 않도록 할 수 있는가?
• RQ2 잠재 공간 표현은 고차원 제어 작업에서 일반화 능력 향상과 샘플 복잡도 감소에 어떤 역할을 하는가?
• RQ3 불확실성 추정은 모델기반 딥 RL 에이전트의 신뢰성과 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 커리큘럼 학습은 복잡한 고차원 환경에서 모델기반 에이전트의 훈련을 어떻게 가속화할 수 있는가?
• RQ5 특히 잠재 모델을 활용한 계획과 동역학의 엔드투엔드 학습은 전이 학습과 다중 에이전트 협업을 어떻게 가능하게 하는가?

주요 결과

• VAE와 GAN과 같은 잠재 모델은 고차원 관측치를 압축된, 학습 가능한 표현으로 변환함으로써 훈련 효율성을 향상시켰다.
• 잠재 동역학 모델을 활용한 엔드투엔드 가역성 있는 계획은 시각, 기억, 제어가 통합 최적화되는 World Models와 같은 작업에서 성공을 거두었다.
• 불확실성 인식 모델, 특히 앙상블 기반 접근 방식은 예측에 대한 과도한 확신을 줄여 샘플 효율성과 강건성을 향상시켰다.
• 잠재 모델 학습과 커리큘럼 학습을 조합하면 로봇 조작 및 비디오 게임과 같은 복잡한 환경에서 더 빠른 수렴과 더 나은 일반화를 달성할 수 있었다.
• 스타크래프트와 DOTA와 같은 다중 에이전트 벤치마크는 자기 플레이와 계층적 계획을 결합한 모델기반 RL이 복잡한 전략적 환경에서 효과적인 협업과 경쟁을 가능하게 함을 보여주었다.
• 벤치마크는 간단한 격자 세계에서 시작해 복잡한 실시간 전략 게임과 로봇 조작 작업으로 진화하며 분야의 성숙도와 복잡성 증가를 반영하고 있다.