[논문 리뷰] Calibrated Model-Based Deep Reinforcement Learning

Ali Malik, Volodymyr Kuleshov외 4명|arXiv (Cornell University)|2019. 06. 19.

Reinforcement Learning in Robotics인용 수 23

한 줄 요약

이 논문은 모델 기반 딥 강화학습에서 예측 불확실성의 校정을 향상시키기 위한 단순한 재교정 기법을 제안하며, 더 신뢰할 수 있는 계획 수립과 탐색을 가능하게 한다. 등온 회귀 또는 플라트 스케일링을 사용해 어떤 모델 기반 RL 에이전트에도 재교정을 적용함으로써, 이전 방법들보다 50% 적은 샘플로 HalfCheetah에서 최신 기술 수준(SOTA) 성능을 달성하며 샘플 효율성과 계획 정확도를 크게 향상시킨다.

ABSTRACT

Estimates of predictive uncertainty are important for accurate model-based planning and reinforcement learning. However, predictive uncertainties---especially ones derived from modern deep learning systems---can be inaccurate and impose a bottleneck on performance. This paper explores which uncertainties are needed for model-based reinforcement learning and argues that good uncertainties must be calibrated, i.e. their probabilities should match empirical frequencies of predicted events. We describe a simple way to augment any model-based reinforcement learning agent with a calibrated model and show that doing so consistently improves planning, sample complexity, and exploration. On the extsc{HalfCheetah} MuJoCo task, our system achieves state-of-the-art performance using 50\% fewer samples than the current leading approach. Our findings suggest that calibration can improve the performance of model-based reinforcement learning with minimal computational and implementation overhead.

연구 동기 및 목표

• 딥 러닝 기반 모델 기반 강화학습 에이전트에서의 잘못된 불확실성 추정이라는 핵심 문제를 해결한다.
• 예측 확률이 경험 빈도와 일치하는 교정된 예측 불확실성은 더 나은 계획 수립과 의사결정을 이끈다는 것을 입증한다.
• 기존 모델 기반 RL 알고리즘에 교정된 불확실성 추정 기능을 최소한의 복잡도로 통합할 수 있는 방법을 제공한다.
• 로봇 공학 및 제어와 같은 고위험 강화학습 환경에서 샘플 효율성, 탐색-이용 균형, 내성 강도를 향상시킨다.
• 연속 제어, 맥락 기반 밴드잇, 재고 관리 등 다양한 벤치마크에서 접근 방식을 검증한다.

제안 방법

• 최근의 불확실성 교정 기법(예: 등온 회귀, 플라트 스케일링)을 모델 기반 RL의 확률적 월드 모델에 적용한다.
• 학습된 동역학 모델의 출력 분포에 재교정을 적용하여 예측된 신뢰 수준이 관측된 빈도와 일치하도록 보장한다.
• 요소별 재교정을 통해 다차원 상태 예측의 효율적 재교정을 가능하게 한다.
• 핵심 계획 또는 학습 절차를 수정하지 않고도 어떤 모델 기반 계획 알고리즘(예: PE-DS, SAC)에 교정된 모델을 통합한다.
• 교정 품질 평가 및 구현 가이드를 위한 진단 도구와 최선의 실천 방법을 활용한다.
• 기본 모델(예: 딥 네ural 네트워크)을 환경 롤아웃 데이터로 학습한 후, 별도의 검증 세트를 사용해 예측 출력을 재교정한다.

실험 결과

연구 질문

• RQ1 모델 기반 RL에서 예측 불확실성의 재교정이 계획 성능과 샘플 효율성을 향상시킬 수 있는가?
• RQ2 재교정은 위험하거나 새로운 상태 전이에 대해 더 정확한 신뢰도 추정을 제공함으로써 탐색을 향상시키는가?
• RQ3 모델 기반 RL에서 다른 불확실성 추정 방법(예: 딥 앙상블, 베이지안 신경망)과 비교해 재교정은 어떤가?
• RQ4 기존 모델 기반 에이전트에 최소한의 계산 및 구현 오버헤드로 재교정을 적용할 수 있는 정도는 어느 정도인가?
• RQ5 재교정은 연속 제어 및 재고 관리와 같은 다양한 RL 벤치마크에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• 교정된 PE-DS 에이전트는 MuJoCo 환경인 HalfCheetah에서 최신 기술 수준 성능을 달성하여, 이전 최고 성능 방법보다 50% 적은 180,000 타임스텝만으로 거의 최적 성능에 도달했다.
• 교정된 모델은 특히 초기 학습 단계에서 더 날카롭고 정확한 불확실성 구간을 보이며, CartPole 환경에서의 시각화 결과로 확인할 수 있다.
• 교정된 모델은 학습 초반부터 누적 보상이 더 빨리 향상되며, 이는 교정이 더 나은 모델 기반 계획 수립과 의사결정과 관련이 있음을 시사한다.
• 모든 평가된 환경(예: CartPole, Ant, HalfCheetah)에서 교정된 PE-DS는 PE-DS 및 모델 프리 SAC보다 샘플 효율성 면에서 뛰어나다.
• 이 방법은 과도한 자신감을 줄여주며, 특히 고위험 또는 희귀 상태 전이에서 탐색을 일관되게 향상시킨다.
• 이 접근은 최소한의 계산 오버헤드를 유발하며, 기존의 모든 모델 기반 RL 알고리즘에 후행 처리(post-hoc) 방식으로 적용 가능하다.