[논문 리뷰] Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees

Yuping Luo, Huazhe Xu외 4명|arXiv (Cornell University)|2018. 07. 10.

Reinforcement Learning in Robotics참고 문헌 74인용 수 101

한 줄 요약

이 논문은 데이터 의존적 하한을 최적화하여 실제 가치의 로컬 보상을 단조롭게 개선하는 것을 보장하는 모델 기반 딥 RL용 메타 알고리즘을 제시하고, 강한 샘플 효율성과 함께 실제 구현으로서 SLBO를 도입한다.

ABSTRACT

Model-based reinforcement learning (RL) is considered to be a promising approach to reduce the sample complexity that hinders model-free RL. However, the theoretical understanding of such methods has been rather limited. This paper introduces a novel algorithmic framework for designing and analyzing model-based RL algorithms with theoretical guarantees. We design a meta-algorithm with a theoretical guarantee of monotone improvement to a local maximum of the expected reward. The meta-algorithm iteratively builds a lower bound of the expected reward based on the estimated dynamical model and sample trajectories, and then maximizes the lower bound jointly over the policy and the model. The framework extends the optimism-in-face-of-uncertainty principle to non-linear dynamical models in a way that requires extit{no explicit} uncertainty quantification. Instantiating our framework with simplification gives a variant of model-based RL algorithms Stochastic Lower Bounds Optimization (SLBO). Experiments demonstrate that SLBO achieves state-of-the-art performance when only one million or fewer samples are permitted on a range of continuous control benchmark tasks.

연구 동기 및 목표

• 모델 기반 딥 강화 학습을 위한 보장 있는 이론적 프레임워크를 동기 부여하고 개발한다.
• 모델 오차를 가치 개선과 연결하는 하한 분석을 만들고 명시적 불확실성 정량화를 요구하지 않는다.
• 연속 제어 작업에서 강한 샘플 효율성을 보여주는 실용 알고리즘(SLBO)을 제공한다.
• 동역학 모델과 정책의 공동 최적화를 안내하는 discrepancy 경계 제시를 한다.
• Lipschitz 기반 및 표현 불변(discrepancy bounds)을 탐구하여 강건성과 적용 가능성을 향상시킨다.

제안 방법

• 진짜 가치에 대한 하한을 정의한다: V^{π,M*} ≥ V^{π, M̂} − D^{π_ref, δ}(M̂, π).
• D가 만족해야 하는 차이 경계 설계: M̂ = M*일 때 소실되고, 궤적에서 추정 가능하며, 참조 정책 π_ref에 의존한다.
• 메타 알고리즘(Algorithm 1)을 제안하여 하한을 최대화하도록 (π, M̂) 최적화를 교대로 수행하고 정책이 참조 π_ref에 가깝도록 제약한다.
• 모델 예측 오차를 가치 차이(G^{π,M̂})와 연관시키는 텔레스코핑 보조정리를 소개하고 분석한다.
• 실용적인 경계와 다단계 예측 손실을 사용하여 프레임워크를 확립한다.
• 제한을 생략하고 모델 학습을 위한 다단계 예측 손실을 사용하는 등 구현 가능한 변형으로 Stochastic Lower Bound Optimization (SLBO)을 도입한다.

실험 결과

연구 질문

• RQ1 정책과 동역학을 모두 최적화할 때 이론적 보장을 갖춘 모델 기반 딥 RL은 어떻게 구현될 수 있는가?
• RQ2 D^{π_ref}(M̂, π) 경계가 궤적에서 추정 가능하고 모델이 정확할 때 소실되도록 어떻게 구성될 수 있는가?
• RQ3 제안된 프레임워크가 명시적 불확실성 정량화 없이도 비선형 딥 동역학 모델에 대해 OFU 원칙을 확장하는가?
• RQ4 효과적인 Lipschitz 기반 및 표현 불변 차이 경계는 무엇이며 이것이 실용적 학습과 성능에 어떤 영향을 미치는가?
• RQ5 연속 제어 벤치마크에서 샘플 효율 설정에서 SLBO 인스턴스는 어떻게 수행되는가?

주요 결과

• 적절한 discrepancy 경계 하에서 V^{π,M*}의 단조로운 개선을 보장하는 메타 알고리즘이 개발되었다.
• 궤적에서 추정 가능한 차이 경계가 도출되어 모델 정확도 및 이웃 조건을 만족시키고 M̂와 π의 안전한 공동 최적화를 가능하게 한다.
• 텔레스코핑 보조정리를 도입하여 모델로 인한 가치 차이를 한 단계의 기여로 분해하고 이로써 이론적 보장을 돕는다.
• 표현 불변 차이 경계가 제안되어 상태 공간 변환에 대한 강건성을 향상시킨다.
• 실용적인 SLBO 변형은 여러 연속 제어 작업에서 1M 이하의 샘플로 최첨단 성능을 달성한다.
• 이 연구는 모델 기반 RL과 모델 프리 정책 기울기 방법의 오차 증폭 및 수렴 동작 측면에서 차별화하는 이론적 토대를 제공한다.