[논문 리뷰] On Optimism in Model-Based Reinforcement Learning.

Aldo Pacchiano, Philip Ball외 3명|arXiv (Cornell University)|2020. 06. 21.

Advanced Bandit Algorithms Research참고 문헌 63인용 수 14

한 줄 요약

이 논문은 소음 증강 마르코프 결정 과정(MDPs)를 사용하여 모델 기반 강화 학습에서 처리 가능한 낙관주의 메커니즘을 제안한다. 이는 이론적 리그레트 한계를 보장하고 딥 강화 학습에서의 실용적 구현을 가능하게 한다. 환경 동역학에 노이즈를 주입함으로써 MDP의 동역학을 변형함으로써, 메트릭은 $\tilde{\mathcal{O}}(|\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}|T})$의 리그레트 한계를 달성하며, 딥 강화 학습에서 이론과 실천을 연결한다.

ABSTRACT

The principle of optimism in the face of uncertainty is prevalent throughout sequential decision making problems such as multi-armed bandits and reinforcement learning (RL), often coming with strong theoretical guarantees. However, it remains a challenge to scale these approaches to the deep RL paradigm, which has achieved a great deal of attention in recent years. In this paper, we introduce a tractable approach to optimism via noise augmented Markov Decision Processes (MDPs), which we show can obtain a competitive regret bound: $ ilde{\mathcal{O}}( |\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}| T } )$ when augmenting using Gaussian noise, where $T$ is the total number of environment steps. This tractability allows us to apply our approach to the deep RL setting, where we rigorously evaluate the key factors for success of optimistic model-based RL algorithms, bridging the gap between theory and practice.

연구 동기 및 목표

• 딥 강화 학습 환경에서 이론적 보장을 갖지 못하는 낙관주의 기반 방법의 확장 문제를 해결하기 위해.
• 이론적 리그레트 한계를 보장하는 처리 가능한 실용적 방법을 개발하여 모델 기반 강화 학습에 낙관주의를 통합하기 위해.
• MDP에서의 이론적 낙관주의와 실제 딥 강화 학습 응용 간 격차를 메우기 위해.
• 딥 러닝 환경에서 낙관적 모델 기반 강화 학습의 성공에 영향을 미치는 핵심 요소들을 평가하기 위해.

제안 방법

• 소음 증강 마르코프 결정 과정(MDPs)을 도입하여, 가우시안 노이즈를 환경 동역학에 주입함으로써 낙관주의를 유도한다.
• 노이즈 주입은 원래 MDP를 새로운 MDP로 변형시켜, 낙관적 계획 수립이 처리 가능하고 분석 가능하도록 한다.
• 가우시안 노이즈 증강 하에 메트릭은 $\tilde{\mathcal{O}}(|\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}|T})$의 리그레트 한계를 도출한다.
• 딥 신경망과의 호환성을 고려하여 설계되어, 딥 강화 학습 파이프라인에 통합 가능하도록 한다.
• 명시적 탐색 보너스나 복잡한 탐색 전략이 필요 없이도, 모델 기반 강화 학습에서 낙관적 계획 수립을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화 학습에서 낙관주의를 딥 강화 학습 환경에 처리 가능하고 확장 가능하게 만들 수 있는가?
• RQ2 소음 증강 MDP를 사용할 경우, 낙관주의 기반 방법의 이론적 리그레트 한계는 무엇인가?
• RQ3 노이즈 유형과 크기와 같은 핵심 설계 선택 사항이 딥 강화 학습 환경에서 낙관적 모델 기반 강화 학습의 성능에 어떤 영향을 미치는가?
• RQ4 소음 증강 MDP는 이론적 낙관주의와 실질적 딥 강화 학습 알고리즘 간 격차를 어느 정도 메운다?

주요 결과

• 가우시안 노이즈를 사용할 경우 소음 증강 MDP 프레임워크는 $\tilde{\mathcal{O}}(|\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}|T})$의 리그레트 한계를 달성하여 강력한 이론적 보장을 제공한다.
• 유연한 수식 구조 덕분에 이 방법은 복잡한 환경에서도 실용적 구현이 가능하여 딥 강화 학습에 대해 확장 가능하다.
• 이 방법은 이론적 낙관주의와 실질적 모델 기반 강화 학습을 성공적으로 연결하여, 딥 강화 학습에서 원칙적인 탐색 전략의 길을 열어준다.
• 노이즈 분포와 모델 불확실성과 같은 낙관적 모델 기반 강화 학습에 영향을 미치는 핵심 요소들을 철저히 평가할 수 있도록 한다.