[논문 리뷰] High-Accuracy Model-Based Reinforcement Learning, a Survey

Aske Plaat, Walter A. Kosters외 1명|arXiv (Cornell University)|2021. 07. 17.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 종합 검토는 딥러닝을 활용한 고정확도 모델기반 강화학습 방법에 대한 포괄적인 개요를 제공하며, 잠재 모델, 불확실성 모델링, 엔드 투 엔드 학습과 같은 기법을 중심으로 고차원 환경(예: 아케이드 게임, 로봇 제어)에서 샘플 효율성과 모델 정확도를 향상시키는 데 중점을 둡니다. 주요 과제를 규명하고 복제 가능성, 확장성, 다양한 분야로의 적용 가능성을 향상시키기 위한 연구 계획을 제시합니다.

ABSTRACT

Deep reinforcement learning has shown remarkable success in the past few years. Highly complex sequential decision making problems from game playing and robotics have been solved with deep model-free methods. Unfortunately, the sample complexity of model-free methods is often high. To reduce the number of environment samples, model-based reinforcement learning creates an explicit model of the environment dynamics. Achieving high model accuracy is a challenge in high-dimensional problems. In recent years, a diverse landscape of model-based methods has been introduced to improve model accuracy, using methods such as uncertainty modeling, model-predictive control, latent models, and end-to-end learning and planning. Some of these methods succeed in achieving high accuracy at low sample complexity, most do so either in a robotics or in a games context. In this paper, we survey these methods; we explain in detail how they work and what their strengths and weaknesses are. We conclude with a research agenda for future work to make the methods more robust and more widely applicable to other applications.

연구 동기 및 목표

• 고차원 문제를 위한 최근 고정확도 모델기반 강화학습 방법의 상세한 분류 체계를 제공하기 위해.
• 불확실성 모델링, 잠재 동역학, 엔드 투 엔드 학습과 같은 기법의 강점과 약점을 모델기반 RL에서 분석하기 위해.
• 다양한 적용 분야에서 샘플 복잡도, 하이퍼파rameter 민감도, 계산 비용과 관련된 열린 과제를 규명하기 위해.
• 복제 가능성, 확장성, 모델기반 RL 방법의 일반화를 향상시키기 위한 연구 계획을 제안하기 위해.
• 이론적 진전과 실질적 구현 사이의 격차를 해소하기 위해, 실제 시나리오에서의 내성과 적용 가능성을 해결하기 위해.

제안 방법

• 응용 분야(예: 게임, 로봇 공학), 학습 방법(예: 잠재 모델, 불확실성 추정), 계획 전략(예: 모델 예측 제어)에 따라 모델기반 RL 방법을 분류합니다.
• 고차원 관측치(예: 영상에서의 입력)를 낮은 차원의 학습 가능한 동역학 모델로 압축하기 위해 잠재 공간 표현을 사용하는 방법을 검토합니다.
• 모델 정확도가 떨어지는 것을 완화하기 위해 제한된 수평선 계획 기법(예: 제한된 수평선 모델 예측 제어)을 분석합니다.
• 역전파를 통해 동역학 모델과 계획 정책을 동시에 학습하는 통합 가능한 기계적 아키텍처를 검토합니다.
• 학습 중 모델 신뢰도와 샘플 효율성을 향상시키기 위해 불확실성 정량화의 역할을 평가합니다.
• 성능 향상과 일반화 능력 향상을 위해 잠재 모델을 엔드 투 엔드 학습 파이프라인과 통합하는 것을 제안합니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 픽셀 입력과 같은 고차원 관측 공간에서 고정확도 동역학 모델을 효율적으로 학습할 수 있을까?
• RQ2 잠재 모델, 불확실성 모델링, 엔드 투 엔드 학습의 상대적 강점과 한계는 무엇인가?
• RQ3 현재 모델기반 방법은 왜 하이퍼파rameter 설정과 계산 비용에 민감한가? 이를 어떻게 완화할 수 있는가?
• RQ4 잠재 모델은 얼마나 다양한 관련 환경 간의 전이 학습과 일반화를 가능하게 할 수 있는가?
• RQ5 모델기반 RL은 어떻게 더 복제 가능하고 실세계 로봇 및 복잡한 게임 응용에 대해 확장 가능하게 만들 수 있는가?

주요 결과

• 잠재 모델은 입력 차원을 감소시킴으로써 아케이드 벤치마크에서 최초로 고정확도 모델기반 RL 결과를 달성하는 데 핵심적인 역할을 하였다.
• 엔드 투 엔드 학습 및 계획 방법은 모델 학습과 의사결정 과정을 하나의 미분 가능한 파이프라인으로 통합함으로써 샘플 효율성을 향상시키는 데 잠재력을 보이고 있다.
• 제한된 수평선 계획은 계획 수평선을 제한하여 모델 정확도 부족의 영향을 줄여 더 견고한 정책 학습을 가능하게 한다.
• 진전이 있었음에도 불구하고, 모델 정확도는 여전히 하이퍼파rameter와 계산 비용에 민감하며, 복제 가능성은 분야 내에서 주요 과제로 남아 있다.
• 잠재 모델과 엔드 투 엔드 학습의 통합은 더 큰 연속 제어 문제에 대한 일반화 및 확장성 향상에 유망한 방향이다.
• 학습된 전이 모델을 활용한 전이 학습과 메타 학습은 다중 작업 및 소수의 샘플 설정에서 미래 연구를 위한 실현 가능한 길로 부상하고 있다.