[논문 리뷰] MBMF: Model-Based Priors for Model-Free Reinforcement Learning

Somil Bansal, Roberto Calandra외 3명|arXiv (Cornell University)|2017. 09. 10.

Reinforcement Learning in Robotics참고 문헌 27인용 수 20

한 줄 요약

이 논문은 모델 기반(MB)과 모델리스(MF) 강화학습을 통합하기 위해 학습된 동역학 모델을 사용해 베이지안 최적화에서 MF 정책 탐색을 위한 사전 분포를 제공하는 확률적 프레임워크인 MBMF를 제안한다. 모델 예측 비용 추정치와 직접적인 비용 관측치를 결합함으로써 MBMF는 모델 편향을 극복하면서도 빠른 수렴성을 유지하며, 주행 및 조작 작업에서 순수한 MB, MF 및 하이브리드 접근 방식을 능가한다.

ABSTRACT

Reinforcement Learning is divided in two main paradigms: model-free and model-based. Each of these two paradigms has strengths and limitations, and has been successfully applied to real world domains that are appropriate to its corresponding strengths. In this paper, we present a new approach aimed at bridging the gap between these two paradigms. We aim to take the best of the two paradigms and combine them in an approach that is at the same time data-efficient and cost-savvy. We do so by learning a probabilistic dynamics model and leveraging it as a prior for the intertwined model-free optimization. As a result, our approach can exploit the generality and structure of the dynamics model, but is also capable of ignoring its inevitable inaccuracies, by directly incorporating the evidence provided by the direct observation of the cost. Preliminary results demonstrate that our approach outperforms purely model-based and model-free approaches, as well as the approach of simply switching from a model-based to a model-free setting.

연구 동기 및 목표

• 모델 기반 및 모델리스 강화학습 간 격차를 해소하기 위해 그들의 강점을 통합한다.
• 정확한 동역학 모델이 존재하더라도도 하위 최적 정책을 초래할 수 있는 MB 방법의 모델 편향 문제를 해결한다.
• 모델 예측과 실제 비용 관측치를 모두 활용하여 정책 학습의 데이터 효율성과 강인성을 향상시킨다.
• 순수한 MF 방법보다 빠른 수렴성을 달성하면서도 일반화 능력을 유지하고 학습된 동역학 모델의 부정확성으로부터 벗어나기 위해 노력한다.

제안 방법

• 환경 상호작용에서 학습된 확률적 동역학 모델을 사용해 주어진 정책 하에서 상태 궤적을 예측한다.
• 동역학 모델에서 예측된 비용이 베이지안 최적화 기반의 모델리스 정책 탐색에서 사전 분포로 기능한다.
• 모델 예측의 불확실성과 직접적인 비용 관측치의 증거를 결합하기 위해 공동 확률적 프레임워크를 사용한다.
• 정책 탐색은 후행 분포 기반으로 반복적으로 업데이트되며, 모델 예측과 실제 세계 피드백 사이의 균형을 유지한다.
• 모델 부정확성을 수정하고 편향을 줄이기 위해 실시간 비용 측정치를 동적으로 통합한다.
• 동역학 모델링에는 가우시안 프로세스를, 정책 탐색에는 베이지안 최적화를 사용하여 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 모델 기반 동역학 모델이 모델리스 강화학습에서 데이터 효율성을 향상시키기 위해 사전 분포로 사용될 수 있는가?
• RQ2 정책 최적화 중에 학습된 동역학 모델의 모델 편향은 어떻게 완화할 수 있는가?
• RQ3 모델 예측과 실제 비용 관측치를 결합하면 순수한 MB 또는 MF 접근 방식보다 더 빠르고 강인한 정책 학습이 가능할 수 있는가?
• RQ4 모델리스 최적화 중에 모델 기반 사전 분포를 업데이트할 최적의 빈도는 얼마인가?

주요 결과

• 2D 주행 작업에서 MBMF는 순수한 MB 방법이 모델 부정확성으로 인해 실패하는 동안도 목표에 일관되게 도달하며, 순수한 MB 및 MF 방법을 모두 능가한다.
• 3-DoF 로봇 암 조작 작업에서 최적의 초깃값(F=1)을 사용한 MBMF는 MB+MF 전환 전략을 포함한 모든 베이스라인을 능가하며, 성능 변동성이 낮다.
• 특히 복잡한 접촉 기반 동역학을 요구하는 작업에서, MBMF는 순수한 MB 방법보다 더 빠른 수렴성과 더 나은 최종 성능을 달성한다.
• 사전 업데이트 빈도(F)가 너무 낮을 경우 MBMF는 순수한 MB 방법에 뒤지지만, 최적의 F를 사용할 경우 모델의 구조와 실제 비용 증거를 효과적으로 활용한다.
• 궤적 비교 결과, MBMF는 목표 근처에 물체를 성공적으로 밀어내는 반면, 순수한 MB 접근 방식은 모델 편향으로 인해 작업을 완수하지 못한다.
• 다른 베이스라인과 비교해 성능 변동성이 현저히 낮아, 훈련 데이터 변동성에 대해 강인함을 입증한다.