[논문 리뷰] Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration

Christopher Xie, Sachin Patil외 3명|arXiv (Cornell University)|2015. 09. 23.

Reinforcement Learning in Robotics참고 문헌 14인용 수 3

한 줄 요약

이 논문은 모델 예측 제어(MPC)를 통한 낙관적 탐색과 함께 물리적 동역학 모델의 파arameter화된 형태를 결합한 모델 기반 강화학습 방법을 제안한다. 형태학적 특징을 활용해 빠른 최소 제곱법 기반 동역학 식별을 수행하고, 목표 지향적 탐색을 위해 낙관적 MPC를 사용함으로써, 7-DOF 암을 포함한 벤치마크 로봇 작업에서 최신 기술 수준의 샘플 효율성과 실시간 성능을 달성한다.

ABSTRACT

In this paper, we present a robotic model-based reinforcement learning method that combines ideas from model identification and model predictive control. We use a feature-based representation of the dynamics that allows the dynamics model to be fitted with a simple least squares procedure, and the features are identified from a high-level specification of the robot's morphology, consisting of the number and connectivity structure of its links. Model predictive control is then used to choose the actions under an optimistic model of the dynamics, which produces an efficient and goal-directed exploration strategy. We present real time experimental results on standard benchmark problems involving the pendulum, cartpole, and double pendulum systems. Experiments indicate that our method is able to learn a range of benchmark tasks substantially faster than the previous best methods. To evaluate our approach on a realistic robotic control task, we also demonstrate real time control of a simulated 7 degree of freedom arm.

연구 동기 및 목표

• 로봇 형태학적 지식을 동역학 모델링에 통합함으로써 모델 기반 강화학습의 학습 속도를 가속화한다.
• 지속적인 제어 작업에서 많은 상호작용 샘플이 필요한 일반적인 통계 모델의 비효율성을 해결한다.
• 모델 식별 및 탐색 과정의 계산 오버헤드를 줄여 실시간 온라인 학습을 가능하게 한다.
• 빠른 최소 제곱법 기반 동역학 피팅과 낙관적 탐색을 결합한 방법을 개발하여 효율적인 작업 완료를 달성한다.
• 시뮬레이션 환경에서 복잡한 고차원 로봇 시스템, 예를 들어 7-DOF 암에 대한 적용 가능성을 입증한다.

제안 방법

• 고차원 로봇의 형태학적 특징(링크의 수와 연결성)에서 유도된 특징 기반 선형 동역학 모델을 사용하여, 최소 제곱법 기반의 빠른 피팅을 가능하게 한다.
• 불확실성에 대응하는 낙관적 MPC를 적용하여 목표 지향적 궤적으로의 탐색을 이끌어낸다.
• 더 많은 상호작용 데이터를 수집할수록 낙관성의 정도를 점차 감소시켜 진정한 동역학으로 수렴하도록 한다.
• SymPyBotics와 같은 도구를 사용해 로봇 구조에서 자동으로 동역학 특징을 생성함으로써 수동적인 특징 공학을 방지한다.
• 상태 전이가 학습된 특징들의 선형 조합으로 표현되는 파arameterized 동역학 모델을 사용한다.
• 온라인 모델 식별과 MPC 기반 제어를 통합하여, 작업 실행 중 실시간 적응이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 로봇 형태학적 사전 지식을 동역학 모델링에 통합하면, 로봇 제어를 위한 모델 기반 강화학습에서 샘플 복잡도를 크게 감소시킬 수 있는가?
• RQ2 MPC를 통한 낙관적 탐색 방식은 고차원 로봇에서 실시간 온라인 학습에 충분히 계산 효율성이 있는가?
• RQ3 기존의 모델 기반 강화학습 접근법과 비교했을 때, 표준 벤치마크에서 샘플 효율성과 계산 시간 측면에서 본 방법은 어떻게 성능을 내는가?
• RQ4 미리 알려지지 않은 동역학을 가진 복잡한 고DOF 로봇 시스템, 예를 들어 7-DOF 암에 대해서도 본 방법이 일반화 가능한가?
• RQ5 모델링되지 않은 동역학이나 실제 환경의 외란에 대해 본 방법은 어느 정도 강인한가?

주요 결과

• 펜듈럼, 카트폴, 더블 펜듈럼 벤치마크에서 모든 비교 방법 대비 가장 낮은 상호작용 시간을 기록하여 뛰어난 샘플 효율성을 입증했다.
• 7-DOF 암 작업에서 본 방법은 10회의 시험 전부에서 목표 자세에 성공적으로 도달했으며, 알려진 동역학을 가진 DDP보다 상호작용 시간이 2~3배 빠를 뿐만 아니라 빠른 성능 유지를 보였다.
• 각 제어 스텝의 계산 시간이 상호작용 시간과 유사하여, 실시간 학습 가능성은 확인되었다.
• 7-DOF 암의 동역학 모델은 70개의 파라미터를 가지며, 벤치마크보다 훨씬 더 복잡한 구조였지만, 본 방법은 여전히 효율성을 유지했다.
• 기존의 MPC 기반 낙관적 방법 [21]보다 샘플 효율성과 계산 속도 측면에서 뛰어나 실시간 배포가 가능했다.
• 형태학적 특징을 사용함으로써 고차원 시스템에서도 광범위한 데이터 수집이 필요로 하지 않음을 입증했다.