[논문 리뷰] Model-Based Deep Reinforcement Learning for High-Dimensional Problems, a Survey.

Aske Plaat, Walter A. Kosters외 1명|arXiv (Cornell University)|2020. 08. 11.

Reinforcement Learning in Robotics참고 문헌 133인용 수 12

한 줄 요약

이 종합 검토에서는 고차원 문제에서 모델 기반 강화학습(MBRL)을 위한 포괄적인 분류 체계를 제안하며, 방법을 세 가지 유형으로 분류한다: 주어진 전이에서의 계획 수립, 학습된 동역학에서의 계획 수립, 종단간 학습. 표본 효율성과 예측 능력의 핵심 과제를 규명하고, 잠재 모델과 같은 최근의 진전을 검토하며, 향후 방향으로는 불확실성 모델링과 잠재 공간 통한 전이 학습을 강조한다.

ABSTRACT

Deep reinforcement learning has shown remarkable success in the past few years. Highly complex sequential decision making problems have been solved in tasks such as game playing and robotics. Unfortunately, the sample complexity of most deep reinforcement learning methods is high, precluding their use in some important applications. Model-based reinforcement learning creates an explicit model of the environment dynamics to reduce the need for environment samples. Current deep learning methods use high-capacity networks to solve high-dimensional problems. Unfortunately, high-capacity models typically require many samples, negating the potential benefit of lower sample complexity in model-based methods. A challenge for deep model-based methods is therefore to achieve high predictive power while maintaining low sample complexity. In recent years, many model-based methods have been introduced to address this challenge. In this paper, we survey the contemporary model-based landscape. First we discuss definitions and relations to other fields. We propose a taxonomy based on three approaches: using explicit planning on given transitions, using explicit planning on learned transitions, and end-to-end learning of both planning and transitions. We use these approaches to organize a comprehensive overview of important recent developments such as latent models. We describe methods and benchmarks, and we suggest directions for future work for each of the approaches. Among promising research directions are curriculum learning, uncertainty modeling, and use of latent models for transfer learning.

연구 동기 및 목표

• 고차원 제어 작업에서 딥 강화학습의 높은 표본 복잡도를 해결하기 위해.
• 모델 기반 딥 RL에서 고용량 모델과 낮은 표본 복잡도 사이의 상충 관계를 극복하기 위해.
• 최근 MBRL의 진전을 체계적으로 정리하기 위해, 특히 잠재 동역학 모델링 분야에서의 분류 체계를 제공하기 위해.
• 핵심 방법론적 접근 방식을 규명하고 분석하기 위해: 주어진 전이에서의 계획 수립, 학습된 전이에서의 계획 수립, 종단간 학습.
• 향후 연구 방향을 제안하기 위해, 예를 들어 교육 곡선 학습, 불확실성 모델링, 잠재 모델을 활용한 전이 학습 등.

제안 방법

• MBRL 방법에 대한 삼중 분류 체계 제안: (1) 주어진 전이에서의 계획 수립, (2) 학습된 전이에서의 계획 수립, (3) 동역학과 계획을 동시에 학습하는 종단간 학습.
• 표현된 동역학 모델의 사용에 기반해 최근 방법을 분류하며, 특히 고차원 상태 및 행동 공간에서의 딥 네ural 웹을 중심으로 중점적으로 다룸.
• 잠재 공간 표현이 모델 복잡도를 줄이고 표본 효율성을 향상시키는 데서 수행하는 역할을 강조함.
• 최근 MBRL 문헌에서 성능 평가 및 일반화 능력을 평가하기 위해 사용되는 벤치마크 환경 및 평가 프로토콜을 검토함.
• 모델 예측의 불확실성 추정 기법을 분석하여 강화학습 에이전트의 강건성과 표본 효율성을 향상시킴.
• 학습된 동역학 모델과 계획 알고리즘(예: 몬테카를로 트리 탐색, MDP 해법기)의 통합을 강조함.

실험 결과

연구 질문

• RQ1 어떻게 모델 기반 딥 강화학습이 고차원 환경에서 높은 예측 정확도를 유지하면서도 낮은 표본 복잡도를 달성할 수 있는가?
• RQ2 MBRL에서 주어진 전이에서의 계획 수립, 학습된 동역학에서의 계획 수립, 종단간 학습 간의 주요 차이점과 상충 관계는 무엇인가?
• RQ3 잠재 동역학 모델이 MBRL에서 표본 효율성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 학습된 동역학에서의 불확실성 모델링이 MBRL 에이전트의 강건성을 어떻게 향상시킬 수 있는가?
• RQ5 교육 곡선 학습과 전이 학습은 MBRL 학습 가속화에 어떤 역할을 할 수 있는가?

주요 결과

• 잠재 동역학 모델은 상태 공간의 차원을 감소시키면서도 예측 능력을 유지함으로써 표본 효율성을 크게 향상시킨다.
• 동역학과 계획 구성 요소를 함께 최적화하는 종단간 학습 접근 방식은 표본 효율성과 최종 성능 면에서 모듈러한 파이프라인을 뛰어넘는다.
• 모델 예측의 불확실성 추정을 통합한 방법들은 운영 시 강건성이 향상되고 표본 요구량이 감소함을 보였다.
• 작업 복잡도를 점진적으로 증가시키는 교육 곡선 학습 전략은 MBRL에서 더 빠른 수렴과 더 나은 일반화를 이끌어낸다.
• 공유된 잠재 공간을 활용한 전이 학습은 새로운 작업에 더 빠르게 적응할 수 있게 하며, 특히 다양한 환경에서 미리 훈련된 경우에 효과적이다.
• 벤치마크 분석 결과, 현재 최첨단 MBRL 방법들은 여전히 장기 시간 간격 작업과 고차원 연속 제어 작업에서 어려움을 겪고 있어 향상 여지가 있음.