[논문 리뷰] Model-free Reinforcement Learning for Robust Locomotion Using Trajectory Optimization for Exploration

Miroslav Bogdanović, Majid Khadiv외 1명|arXiv (Cornell University)|2021. 07. 14.

Robotic Locomotion and Control참고 문헌 19인용 수 5

한 줄 요약

이 논문은 단일 시범 트레이젝터리를 활용하여 다각형 로봇에서 안정적인 이동을 가능하게 하는 이단계, 모델 자유형 강화학습 프레임워크를 제안한다. 첫 번째 단계에서는 시범이 탐색을 안내하기 위해 트레이젝터리 최적화를 활용하고, 두 번째 단계에서는 정책을 작업 성능과 불확실성에 대한 강건성에 대해 직접 최적화하여 추가 학습 없이도 실제 환경에 성공적으로 구현한다.

ABSTRACT

In this work we present a general, two-stage reinforcement learning approach for going from a single demonstration trajectory to a robust policy that can be deployed on hardware without any additional training. The demonstration is used in the first stage as a starting point to facilitate initial exploration. In the second stage, the relevant task reward is optimized directly and a policy robust to environment uncertainties is computed. We demonstrate and examine in detail performance and robustness of our approach on highly dynamic hopping and bounding tasks on a real quadruped robot.

연구 동기 및 목표

• 단일 시범에서 출발하여 실제 하드웨웨어에 구현 가능한 강건한 정책으로 이어지는 일반적인 강화학습 프레임워크를 개발하는 것.
• 시험·오류 학습에 대한 의존도를 줄이기 위해 시범 데이터를 활용해 초기 탐색을 안내하는 것.
• 두 번째 단계에서 작업 보상의 직접 최적화를 통해 환경 불확실성에 대한 정책의 강건성을 향상시키는 것.
• 추가 학습 없이도 동적 이동 정책(예: 점프, 뛰기)을 실제 4족 로봇에 구현할 수 있도록 하는 것.
• 트레이젝터리 최적화와 모델 자유형 강화학습을 융합함으로써 효율적이고 강건한 정책 학습을 가능하게 하는 것의 효과를 입증하는 것.

제안 방법

• 첫 번째 단계에서는 시범 트레이젝터리를 탐색의 기초로 활용하여 트레이젝터리 최적화를 통해 유망한 정책 영역으로 에이전트를 안내한다.
• 두 번째 단계에서는 모델 자유형 강화학습 알고리즘을 적용하여 작업 보상 함수를 직접 최적화한다.
• 학습 중에 교란 요소를 통합하여 정책이 환경 불확실성에 강건하도록 훈련시킨다. 이를 통해 일반화를 보장한다.
• 역동 모델 학습을 피하고, 탐색에서 확보한 오프-폴리시 데이터를 활용해 직접 정책 최적화에 의존한다.
• 시범에서 유도된 탐색과 엔드 투 엔드 정책 학습을 통합함으로써 빠른 수렴과 실제 환경 구현을 가능하게 한다.
• 이 프레임워크는 실제 4족 로봇에서 동적 점프 및 뛰기와 같은 고차원 제어 과제에 적용된다.

실험 결과

연구 질문

• RQ1 단일 시범 트레이젝터리가 복잡한 이동 과제에 대한 모델 자유형 강화학습에서 탐색을 효과적으로 안내할 수 있는가?
• RQ2 시범 유도 탐색이 정책 학습의 샘플 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 직접 보상 최적화를 통해 학습된 모델 자유형 정책가 환경 불확실성에 얼마나 강건한가?
• RQ4 이러한 이단계 접근법이 추가 조정 없이도 실제 하드웨어에 정책을 직접 구현할 수 있는가?
• RQ5 이 방법은 점프 및 뛰기와 같은 고도로 동적인 이동 행동에서 어떻게 성능을 발휘하는가?

주요 결과

• 단일 시범과 추가 학습 없이도 실제 4족 로봇에서 강건한 이동 정책을 성공적으로 학습시켰다.
• 시범 덕분에 탐색 효율성이 크게 향상되어 고성능 정책에 빠르게 수렴할 수 있었다.
• 정책은 환경 교란 요소에 대해 강력한 강건성을 보이며 불확실성 하에서도 안정적인 이동을 유지했다.
• 이 방법은 하드웨어에 점프 및 뛰기와 같은 동적 행동을 성공적으로 구현했다.
• 광범위한 환경 상호작용이나 모델 학습이 필요 없어졌고, 구현 장벽이 감소했다.