[논문 리뷰] A Survey on Model-based Reinforcement Learning

Fan-Ming Luo, Xu Tian외 4명|arXiv (Cornell University)|2022. 06. 19.

Reinforcement Learning in Robotics인용 수 26

한 줄 요약

이 논문은 모델 기반 강화학습(MBRL)을 조사하며, 환경 모델이 심층 RL에서 어떻게 학습되고 사용되는지, 모델-정책 차이를 분석하고 관련 RL 패러다임의 발전과 실제 적용 가능성에 대해 다룬다.

ABSTRACT

Reinforcement learning (RL) solves sequential decision-making problems via a trial-and-error process interacting with the environment. While RL achieves outstanding success in playing complex video games that allow huge trial-and-error, making errors is always undesired in the real world. To improve the sample efficiency and thus reduce the errors, model-based reinforcement learning (MBRL) is believed to be a promising direction, which builds environment models in which the trial-and-errors can take place without real costs. In this survey, we take a review of MBRL with a focus on the recent progress in deep RL. For non-tabular environments, there is always a generalization error between the learned environment model and the real environment. As such, it is of great importance to analyze the discrepancy between policy training in the environment model and that in the real environment, which in turn guides the algorithm design for better model learning, model usage, and policy training. Besides, we also discuss the recent advances of model-based techniques in other forms of RL, including offline RL, goal-conditioned RL, multi-agent RL, and meta-RL. Moreover, we discuss the applicability and advantages of MBRL in real-world tasks. Finally, we end this survey by discussing the promising prospects for the future development of MBRL. We think that MBRL has great potential and advantages in real-world applications that were overlooked, and we hope this survey could attract more research on MBRL.

연구 동기 및 목표

• DRL에서 MBRL이 모델-프리 방법에 비해 샘플 효율성을 왜 개선할 수 있는지 설명한다.
• 환경 모델 학습의 고전적·현대적 방법을 검토한다 (표 형식 및 함수 근사).
• 모델의 사용 방식(계획, 롤아웃, 다양한 RL 형태와의 통합)을 논의하고 정책/가치 차이를 분석한다.
• 오프라인, 목표-조건, 다중 에이전트, 메타-RL 등에서의 모델 기반 기법의 최근 발전을 요약한다.
• MBRL의 실제 적용 가능성과 향후 방향을 강조한다.

제안 방법

• MDP에 대한 표 및 신경망 기반 모델 학습 접근법을 설명한다(M, R 학습 및 가능도 기반 목표를 포함).
• 예측 손실(한 단계) 및 알레이터릭 불확실성을 포착하기 위한 확률적 모델링을 논의한다.
• 모델 오차 아래 값 평가를 바운드하는 시뮬레이션 보조정리(정리 1 및 정리 2).
• 장기-지향 효과 완화를 위한 분포 매칭(JS 다이버전스, Wasserstein) 도입(시뮬레이션 정리 III).
• 정책-분포 고려 및 CVaR를 통한 강건 학습 탐구
• 다단계 및 역방향 모델과 복잡한 환경을 위한 표현 학습을 조사한다.

실험 결과

연구 질문

• RQ1 학습된 MDP에서 학습된 모델 근사가 실제 환경에서 학습될 때 정책/가치 성능에 어떻게 영향을 미치는가?
• RQ2 모델 및 보상 오류를 고려했을 때 가치 평가 오차에 대해 어떤 이론적 한계가 존재하는가?
• RQ3 분포 매칭과 적대적 기법이 학습된 전이 모델의 품질에 어떤 영향을 미치는가?
• RQ4 롱 롤아웃에서의 누적 오차를 줄이기 위한 효과적인 전략은 무엇이며 부분 관측 또는 고차원 작업에서의 전략은 무엇인가?
• RQ5 MBRL을 오프라인, 목표-조건, 다중 에이전트 및 메타-RL 프레임워크와 어떻게 통합할 수 있는가?

주요 결과

• 모델 오차는 수평 의존적(종종 2차 증가)으로 가치 오차로 전파된다.
• 확률적/학습된 모델은 알레이터릭 불확실성을 포착하고 결정론적 한 단계 예측기보다 강건성을 개선할 수 있다.
• 시뮬레이션 보조정리는 모델 오차를 성능 저하로 연결하는 정책 평가 오차에 대한 경계를 제공하며, 짧은 롤아웃은 누적 오차를 완화한다.
• 분포 매칭(JS/Wasserstein)은 장기 거동을 개선하고 특정 설정에서 샘플 복잡성을 줄일 수 있다.
• Lipschitz-제약 모델은 다단계 예측 오차를 제한하고 누적 효과를 제어할 수 있다.
• Dreamer 및 관련 잠재 다이나믹 모델은 월드-모델과 잠재 계획을 통해 시각 기반 작업에서 뛰어난 성능을 보인다.