[논문 리뷰] Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning

Guangxiang Zhu, Minghao Zhang외 2명|arXiv (Cornell University)|2020. 10. 23.

Reinforcement Learning in Robotics참고 문헌 60인용 수 6

한 줄 요약

BIRD는 가상의 경로와 실제 경로 간 상호정보량을 최대화하여 샘플 효율성을 향상시키는 새로운 모델 기반 강화학습 프레임워크로, 시뮬레이션 데이터에서 정책을 향상시켜 실제 환경으로의 일반화를 효과적으로 가능하게 한다. 다양한 기반 계획과 현실 인지 정책 최적화를 결합함으로써 시각 제어 벤치마크에서 기존 방법들인 Dreamer을 능가하는 샘플 효율성과 일반화 성능을 달성한다.

ABSTRACT

Sample efficiency has been one of the major challenges for deep reinforcement learning. Recently, model-based reinforcement learning has been proposed to address this challenge by performing planning on imaginary trajectories with a learned world model. However, world model learning may suffer from overfitting to training trajectories, and thus model-based value estimation and policy search will be pone to be sucked in an inferior local policy. In this paper, we propose a novel model-based reinforcement learning algorithm, called BrIdging Reality and Dream (BIRD). It maximizes the mutual information between imaginary and real trajectories so that the policy improvement learned from imaginary trajectories can be easily generalized to real trajectories. We demonstrate that our approach improves sample efficiency of model-based planning, and achieves state-of-the-art performance on challenging visual control benchmarks.

연구 동기 및 목표

• 학습된 세계 모델이 생성한 가상의 경로와 실제 경로 사이의 분포 이탈 문제를 해결함으로써 모델 기반 딥 강화학습에서의 핵심 과제에 대응한다.
• 기존의 분석적 기울기 방법이 완벽하지 않은 가상 경로에만 정책을 최적화함으로써 실세계 성능이 열 劣하는 한계를 극복한다.
• 가상 경로에서 학습된 정책이 실제 환경으로 일반화될 수 있도록 상호정보량 최대화를 통해 샘플 효율성을 향상시킨다.
• 신뢰도 인지 정책 최적화, 엔트로피 정규화, 모델 학습을 통합한 통합 프레임워크를 개발하여 일반화 성능을 향상시킨다.
• 실세계 성능 향상에 있어 상호정보량 최대화가 단순한 정책 엔트로피 증가보다 우월한지 확인한다.

제안 방법

• 학습된 세계 모델이 생성한 가상 경로에서 정책 최적화를 수행하는 가역적 계획 프레임워크를 제안한다.
• 실제 경로와 가상 경로 사이의 상호정보량 최대화 목적을 도입하여 정책의 상상 속 행동을 실제 환경의 동역학과 일치시킨다.
• 대trastive 학습 원리를 활용해 정책 기울기 업데이트와 상호정보량 최대화를 결합한 공동 최적화 목적을 수립한다.
• 신뢰도 인지 정책 최적화를 통합하여 경로를 재추정하고 높은 신뢰도 예측에 집중함으로써 모델 오류에 대한 과적합을 줄인다.
• 탐색을 유지하고 부분 최적 정책에 조기 수렴하는 것을 방지하기 위해 엔트로피 정규화를 사용한다.
• 실제 경험과 합성 롤아웃을 조합하여 세계 모델과 정책을 엔드 투 엔드로 훈련시키며, 상호정보량을 핵심 정규화 요소로 활용한다.

실험 결과

연구 질문

• RQ1 실제 경로와 가상 경로 사이의 상호정보량 최대화가 모델 기반 강화학습에서 정책 일반화에 기여하는가?
• RQ2 BIRD의 현실 인지 훈련 메커니즘이 단지 가상 경로에서만 최적화하는 표준 모델 기반 강화학습 방법보다 우월한가?
• RQ3 BIRD의 성능 향상 요인이 상호정보량 최대화인지, 아니면 단순히 정책 엔트로피 증가 때문인가?
• RQ4 장기 수평 제어 과제에서 핵심 동작 예측 정확도가 요구되는 상황에서 BIRD의 일반화 능력은 얼마나 뛰어나게 되는가?
• RQ5 복잡한 시각 제어 벤치마크에서 뛰어난 성능을 달성하면서도 샘플 효율성을 유지할 수 있는가?

주요 결과

• BIRD는 이미지 입력을 사용하는 DeepMind Control Suite에서 최신 기준 성능을 달성하며, 기존 모델 기반 방법들에 비해 샘플 효율성이 크게 향상되었다.
• 제거 분석 결과 BIRD의 우월성이 상호정보량 최대화에서 비롯되며, 정책 엔트로피 증가 때문이 아니라는 점이 확인되었으며, 이는 단순 엔트로피 증가만을 적용한 Soft-BIRD가 BIRD에 비해 성능이 열 劣함을 시사한다.
• BIRD는 Hopper Hop의 이륙 동작이나 Walker Run의 스톰프 동작과 같은 핵심 동작 예측에서 Dreamer보다 더 정확한 예측을 제공함으로써 더 나은 실세계 예측 능력을 보였다.
• 시각화 결과 BIRD의 세계 모델이 장기 수평 과제에서 실제 경로로의 일반화 능력이 뛰어나며, 오차 누적이 중요한 상황에서 특히 두드러진다.
• 신뢰도 인지 정책 최적화 구성 요소는 초기 훈련 단계에서 낮은 신뢰도이자 높은 오류 예측에 의해 에이전트가 오도당 것을 방지한다.
• BIRD는 정책의 시뮬레이션 행동을 실제 환경의 동역학과 일치시킴으로써 상상과 현실 간 격차를 줄여 더 견고한 실세계 성능을 달성한다.