[논문 리뷰] Robot Playing Kendama with Model-Based and Model-Free Reinforcement Learning

Shidi Li|arXiv (Cornell University)|2020. 03. 15.

Reinforcement Learning in Robotics참고 문헌 17인용 수 4

한 줄 요약

이 논문은 Kendama와 같은 비연속적인 역학을 가진 작업에서 고정밀 로봇 궤적 학습을 위해 모델 기반(DDP)과 모델리스(PoWER) 방법을 융합한 하이브리드 강화학습 프레임워크를 제안한다. 먼저 DDP를 통해 인간의 모방 궤적을 최적화한 후 PoWER로 보완함으로써, 도전적인 고속 조작 작업에서 성공적인 작업 완수를 달성한다.

ABSTRACT

Several model-based and model-free methods have been proposed for the robot trajectory learning task. Both approaches have their benefits and drawbacks. They can usually complement each other. Many research works are trying to integrate some model-based and model-free methods into one algorithm and perform well in simulators or quasi-static robot tasks. Difficulties still exist when algorithms are used in particular trajectory learning tasks. In this paper, we propose a robot trajectory learning framework for precise tasks with discontinuous dynamics and high speed. The trajectories learned from the human demonstration are optimized by DDP and PoWER successively. The framework is tested on the Kendama manipulation task, which can also be difficult for humans to achieve. The results show that our approach can plan the trajectories to successfully complete the task.

연구 동기 및 목표

• 비연속적인 역학을 가진 작업에서 정밀하고 고속의 로봇 궤적 학습에 도전하는 것.
• 모델 기반 및 모델리스 강화학습을 통합하여 샘플 효율성과 내성 향상시키는 것.
• 인간조차도 어려워하는 복잡한 Kendama 조작 작업에서 성공적인 궤적 학습을 가능하게 하는 것.
• 모델 기반 최적화와 모델리스 보완을 통해 반복적으로 개선하는 방식으로 인간의 모방 시연를 최적화하는 것.

제안 방법

• 모델 기반 최적화를 위해 인간의 시연 궤적을 차용하여 미분 동적 프로그래밍(DDP)을 통해 최적화한다.
• DDP로 최적화된 궤적은 이후 모델리스 PoWER 알고리즘을 사용해 보완되어 내성성과 일반화 능력이 향상된다.
• 정밀성과 적응 가능성의 균형을 위해 모델 기반 궤적 최적화와 모델리스 정책 개선을 번갈아 적용하는 프레임워크를 구성한다.
• 이 방법은 비연속적인 역학을 가지며 고속인 Kendama 작업에서 평가된다.
• DDP는 학습된 역학 모델을 활용하여 부드럽고 최적의 궤적을 보장한다.
• PoWER는 오프-폴리시 데이터 수집과 정책 그래디언트 업데이트를 통해 고역학적 상황에서의 성공률을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델 기반 및 모델리스 강화학습을 융합한 하이브리드 프레임워크는 비연속적인 역학을 가진 작업에서 고정밀 로봇 궤적을 성공적으로 학습할 수 있는가?
• RQ2 DDP와 PoWER를 결합함으로써 단독으로 사용할 경우에 비해 복잡한 조작 작업에서 성능 향상이 어떻게 이루어지는가?
• RQ3 인간의 모방 시연는 어느 정도 최적화 및 보완을 통해 Kendama 작업에서 성공을 이룰 수 있는가?
• RQ4 모델 기반 계획과 모델리스 정밀 조정의 통합은 고속 및 동적 조작 환경에서 내성성을 향상시키는가?
• RQ5 이 프레임워크는 인간에게조차 어려운 작업으로 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 로봇이 Kendama 조작 작업을 성공적으로 완수할 수 있도록 궤적을 계획하는 데 성공했다.
• DDP는 인간의 모방 궤적을 부드럽고 정밀한 경로로 효과적으로 최적화하는 데 기여했다.
• PoWER는 정책의 내성성과 일반화 능력을 향상시켜 고속 및 비연속적인 역학 환경에서도 성공적인 실행을 가능하게 했다.
• DDP와 PoWER의 통합은 각각을 별도로 사용할 경우보다 더 뛰어난 성능을 내는 데 기여했다.
• 이 프레임워크는 고역학적 복잡성을 지닌 도전적인 실세계 로봇 조작 작업에서 실현 가능성과 효과성을 입증했다.