[논문 리뷰] Model-based Reinforcement Learning: A Survey

Thomas M. Moerland, Joost Broekens외 2명|arXiv (Cornell University)|2020. 06. 30.

Complex Systems and Decision Making인용 수 82

한 줄 요약

본 논문은 모델 기반 강화 학습을 조사하고, dynamics 모델 학습 및 planning-learning 통합을 상세히 다루며, 암시적 모델 기반 RL 및 잠재적 이점을 포함한다.

ABSTRACT

Sequential decision making, commonly formalized as Markov Decision Process (MDP) optimization, is a important challenge in artificial intelligence. Two key approaches to this problem are reinforcement learning (RL) and planning. This paper presents a survey of the integration of both fields, better known as model-based reinforcement learning. Model-based RL has two main steps. First, we systematically cover approaches to dynamics model learning, including challenges like dealing with stochasticity, uncertainty, partial observability, and temporal abstraction. Second, we present a systematic categorization of planning-learning integration, including aspects like: where to start planning, what budgets to allocate to planning and real data collection, how to plan, and how to integrate planning in the learning and acting loop. After these two sections, we also discuss implicit model-based RL as an end-to-end alternative for model learning and planning, and we cover the potential benefits of model-based RL. Along the way, the survey also draws connections to several related RL fields, like hierarchical RL and transfer learning. Altogether, the survey presents a broad conceptual overview of the combination of planning and learning for MDP optimization.

연구 동기 및 목표

• 모델 기반 RL 패러다임에서 계획과 학습의 통합을 설명한다.
• 동역학 모델이 어떻게 학습되는지와 관련된 도전과제를 분류한다(확률적성, 불확실성, 부분 관측성, 비정상성).
• 계획이 학습과 어떻게 체계적으로 통합되는지, 학습 루프 내에서 언제 계획을 시작해야 하는지에 대해 논의한다.
• 암시적 모델 기반 RL을 엔드-투-엔드 대안으로 소개하고 잠재적 이점을 논의한다.

제안 방법

• 모델 기반 RL를 정의하고 동역학 접근성과 글로벌 솔루션 여부에 따라 이를 계획 및 모델-프리 RL과 구분한다.
• 계획-학습 통합의 3가지 범주를 제시한다: 학습된 모델이 있는 모델 기반 RL, 알려진 모델이 있는 모델 기반 RL, 학습된 모델 위에서의 계획.
• 동역학 모델 학습(전방, 후방, 역방 모델 포함)을 검토하고 추정 방법(모수적 대 비모수적, 정확한 대 근사)을 논의한다.
• 모델 유효 영역(global vs local)과 이것이 계획 및 학습에 미치는 영향을 논의한다.
• 모델링의 도전과제: 확률성, 불확실성, 부분 관측성, 비정상성, 다단계 예측, 상태 및 시간적 추상화를 다룬다.
• 계획-학습 통합 접근법을 개략한다: 계획 시작 상태, 계획 예산, 계획 방법, 엔드-투-엔드 학습 변형을 포함.

실험 결과

연구 질문

• RQ1 MDP 최적화에서 계획과 학습을 어떻게 통합하여 효과적인 모델 기반 RL 알고리즘을 형성할 수 있는가?
• RQ2 동역학 모델 학습의 주요 도전과제는 무엇이며 어떻게 해결할 수 있는가(확률성, 불확실성, 부분 관측성, 비정상성)?
• RQ3 전역 vs 국소 모델 유효성 간의 트레이드오프와 그것이 계획 및 데이터 효율성에 미치는 영향은 무엇인가?
• RQ4 학습 루프 내에서 계획을 어떻게 구성해야 하는가(언제 계획할지, 얼마나 많은 데이터를 수집할지, 어떻게 계획할지)?

주요 결과

• 모델 기반 RL은 동역학 모델과 글로벌 솔루션을 결합하여 샘플 효율성을 향상시킨다.
• 모수 근사를 갖춘 전방 모델과 글로벌 커버리지는 실제로 일반적으로 사용된다.
• 부분 관측성 및 비정상성은 신념 상태, 순환, 및 부분 모델과 같은 특수한 기법을 필요로 한다.
• 다단계 예측의 도전은 긴 시계열 정확도를 개선하기 위해 다단계 손실 또는 전용 n-step 모델을 사용하도록 동기를 부여한다.
• 계획은 학습된 모델 위에서 정책/가치 함수를 학습하는 방식으로 이루어질 수 있으며, 혹은 둘 다 가능하다; 학습된 모델 위에서 계획하는 경우에도 글로벌 솔루션이 학습되지 않으면 모델 기반 RL로 간주되지 않는다.
• 암시적 모델 기반 RL은 계획 및 모델링의 이점을 활용하면서도 엔드-투-엔드 대안을 제공한다.