[논문 리뷰] Uncertainty-aware Model-based Policy Optimization

Tung-Long Vuong, Kenneth Tran|arXiv (Cornell University)|2019. 06. 25.

Reinforcement Learning in Robotics참고 문헌 26인용 수 9

한 줄 요약

이 논문은 불확실성 인식 동적 모델과 미분 가능 계획을 통한 정책 최적화를 동시에 학습하는 새로운 프레임워크인 불확실성 인식 모델 기반 정책 최적화(MBPO)를 제안한다. 자동 미분를 통한 모델 기반 계획과 정책 그래เดียน트 학습을 조합함으로써, MuJoCo 연속 제어 벤치마크에서 최신의 모델 프리 및 모델 기반 기준보다 뛰어난 샘플 효율성과 경쟁 가능한 점진적 성능을 달성한다.

ABSTRACT

Model-based reinforcement learning has the potential to be more sample efficient than model-free approaches. However, existing model-based methods are vulnerable to model bias, which leads to poor generalization and asymptotic performance compared to model-free counterparts. In addition, they are typically based on the model predictive control (MPC) framework, which not only is computationally inefficient at decision time but also does not enable policy transfer due to the lack of an explicit policy representation. In this paper, we propose a novel uncertainty-aware model-based policy optimization framework which solves those issues. In this framework, the agent simultaneously learns an uncertainty-aware dynamics model and optimizes the policy according to these learned models. In the optimization step, the policy gradient is computed by automatic differentiation through the models. With respect to sample efficiency alone, our approach shows promising results on challenging continuous control benchmarks with competitive asymptotic performance and significantly lower sample complexity than state-of-the-art baselines.

연구 동기 및 목표

• 실세계 제어 설정에서 모델 프리 강화학습의 높은 샘플 복잡도를 해결한다.
• 역동 예측의 불확실성을 명시적으로 모델링하여 모델 기반 강화학습에서의 모델 편향을 극복한다.
• 모델 예측 제어(MPC)를 명시적 정책 표현으로 대체함으로써 효율적이고 저지연 정책 추론을 가능하게 한다.
• 유사 작업 간에 학습된 동적 모델과 정책을 재사용할 수 있도록 이식 학습을 지원한다.
• 모델 프리 방법과 경쟁 가능한 점진적 성능을 유지하면서도 높은 샘플 효율성을 달성한다.

제안 방법

• 부트스트래핑을 활용한 확장된 스케일링 가능한 불확실성 정량화를 위해 앙상블 방법을 사용해 딥 네트워크 동적 모델을 훈련하여 예측 불확실성을 추정한다.
• 자동 미분을 사용해 동적 모델을 통해 정책 그래디언트를 계산함으로써 엔드 투 엔드 정책 최적화를 가능하게 한다.
• 기존의 MPC를 명시적 정책 네트워크로 대체하여 직접 정책 평가 및 이식 가능성을 확보한다.
• 각 환경 상호작용 이후 온라인 정책 업데이트를 수행하며, 효율적 학습을 위해 오프-폴리시 데이터를 활용한다.
• 장기 계획 수평에서의 누적 오차를 줄이기 위해 불확실성 추정을 계획 목표에 통합한다.
• 가치 함수 추정에서 불확실성을 가중하여 위험 감수성 있는 계획을 실현함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 불확실성 인식 동적 모델링은 모델 기반 강화학습에서 모델 편향을 줄이고 장기 계획 성능을 향상시킬 수 있는가?
• RQ2 학습된 동적 모델을 통해 미분 가능 정책 최적화를 수행할 경우, MPC 기반 접근법보다 더 뛰어난 샘플 효율성을 달성할 수 있는가?
• RQ3 제안된 프레임워크는 유사 작업 간에 동적 모델과 정책의 이식 학습을 지원할 수 있는가?
• RQ4 제안된 방법의 샘플 효율성은 연속 제어 벤치마크에서 최신의 모델 프리 및 모델 기반 알고리즘과 비교해 어떻게 되는가?
• RQ5 불확실성 정량화는 점진적 성능과 학습 안정성에 어떤 영향을 미치는가?

주요 결과

• MBPO는 Pendulum-v0, Swimmer-v2, HalfCheetah-v2에서 PPO, DDPG, SAC, STEVE와 같은 최신 기준보다 유의미하게 낮은 샘플 복잡도를 달성한다.
• 환경 상호작용 수가 훨씬 적게 훈련되었음에도 불구하고, SAC 및 PPO와 같은 모델 프리 방법과 경쟁하거나 그 이상의 점진적 성능을 달성한다.
• 합리적인 불확실성 정량화를 통해 모델 오차와 누적 오차 문제가 효과적으로 완화되었으며, 증가하는 계획 수평에서 가치 함수 추정 오차가 감소한 것으로 나타났다.
• 명시적 정책 표현 덕분에 이식 학습이 가능해졌으며, 유사 환경에서 기존 정책과 동적 모델을 기반으로 빠른 학습을 시작할 수 있었다.
• 강력한 성능에도 불구하고, MBPO의 결과는 랜덤 시드에 민감하게 나타나, 공격적인 온라인 업데이트와 초기 무작위 탐색의 부재로 인한 학습 동역학의 불안정성을 시사한다.
• 이 프레임워크는 불확실성이 정책 최적화에 적절히 통합될 경우, 모델 기반 강화학습가 높은 샘플 효율성과 뛰어난 점진적 성능을 동시에 달성할 수 있음을 보여준다.