[논문 리뷰] Multi-Goal Reinforcement Learning environments for simulated Franka Emika Panda robot.

Quentin Gallouédec, Nicolas Cazin외 2명|arXiv (Cornell University)|2021. 06. 25.

Reinforcement Learning in Robotics참고 문헌 9인용 수 5

한 줄 요약

이 논문은 PyBullet과 OpenAI Gym을 사용하여 Franka Emika Panda 로봇을 위한 개방형 강화학습(RL) 환경 세트인 panda-gym을 소개한다. 이 환경은 다중목표 RL 작업 다섯 가지—도달, 밀기, 미끄러뜨리기, 집기 및 놓기, 쌓기—를 지원하여 최신의 비정책 기반 방법을 사용한 재현 가능한 베이스라인을 통한 목표 지향형 RL 알고리즘의 벤치마킹을 가능하게 한다.

ABSTRACT

This technical report presents panda-gym, a set Reinforcement Learning (RL) environments for the Franka Emika Panda robot integrated with OpenAI Gym. Five tasks are included: reach, push, slide, pick & place and stack. They all follow a Multi-Goal RL framework, allowing to use goal-oriented RL algorithms. To foster open-research, we chose to use the open-source physics engine PyBullet. The implementation chosen for this package allows to define very easily new tasks or new robots. This report also presents a baseline of results obtained with state-of-the-art model-free off-policy algorithms. panda-gym is open-source at this https URL.

연구 동기 및 목표

• 실제 로봇 플랫폼에서 다중목표 강화학습 알고리즘을 훈련하고 평가하기 위한 표준화된 개방형 플랫폼을 제공하는 것.
• 모듈러 설계를 통해 연구자들이 새로운 작업이나 로봇을 간편하게 확장할 수 있도록 하는 것.
• 모델-자유 비정책 기반 최신 RL 알고리즘을 사용하여 시뮬레이션된 로봇 조작 작업에서 재현 가능한 기준 성능 결과를 제공하는 것.
• 개방형 PyBullet 물리 엔진과 OpenAI Gym 인터페이스 통합을 통해 연구의 개방성을 촉진하는 것.

제안 방법

• 일관된 다중목표 RL 프레임워크 내에서 도달, 밀기, 미끄러뜨리기, 집기 및 놓기, 쌓기 등 다양한 조작 작업 다섯 가지를 설계하는 것.
• 실제 동역학을 잘 반영하고 효율적인 시뮬레이션을 보장하기 위해 PyBullet 물리 엔진을 사용하여 환경를 구현하는 것.
• 기존 RL 라이브러리와 알고리즘과의 원활한 호환성을 확보하기 위해 모든 환경을 OpenAI Gym 인터페이스에 통합하는 것.
• 다중목표 RL 환경에서 목표 지향 학습을 지원하기 위해 목표 조건부 관측 및 보상 공간을 정의하는 것.
• SAC, TD3 등 비정책 딥 RL 알고리즘을 사용하여 각 작업에서 성능 기준을 수립하고 훈련하는 것.
• 환경 로직을 핵심 시뮬레이션 및 학습 컴포넌트에서 분리할 수 있도록 설계된 모듈러 코드베이스를 제공하는 것.

실험 결과

연구 질문

• RQ1 최신 비정책 기반 RL 알고리즘이 희소 보상이 적용된 시뮬레이션된 로봇 조작 작업 세트에서 얼마나 잘 성능을 발휘하는가?
• RQ2 통합적이고 모듈러한 프레임워크가 Franka Panda 로봇에서 다양한 다중목표 RL 작업을 일관된 인터페이스와 성능로 지원할 수 있는가?
• RQ3 panda-gym의 개방형 설계가 커뮤니티 기여와 새로운 작업 또는 로봇으로의 확장에 얼마나 기여할 수 있는가?
• RQ4 목표 조건부 RL 설정 하에서 주요 로봇 조작 작업의 기준 성능 지표는 무엇인가?

주요 결과

• panda-gym 프레임워크는 일관된 인터페이스와 보상 설계를 통해 Franka Emika Panda 로봇에서 다섯 가지의 구분된 다중목표 RL 작업을 성공적으로 구현하였다.
• SAC 및 TD3와 같은 비정책 알고리즘을 사용한 기준 결과는 모든 작업에서 안정적인 훈련과 수렴을 보이며, 이는 프레임워크가 벤치마킹에 적합하다는 것을 시사한다.
• 모듈러 설계 덕분에 환경 로직을 핵심 시뮬레이션 및 학습 컴포넌트에서 분리함으로써 새로운 작업이나 로봇으로의 확장이 간편하게 가능하다.
• PyBullet 및 OpenAI Gym 통합을 통해 높은 성능과 기존 RL 연구 파이프라인과의 광범위한 호환성을 확보하였다.
• 제공된 URL에서의 개방소스 배포를 통해 재현 가능성과 새로운 작업 및 알고리즘에 대한 커뮤니티 주도 개발이 가능해졌다.
• 희소 보상 설정을 지원함으로써 현실적인 로봇 제어 시나리오에서 샘플 효율성이 뛰어난 목표 조건부 RL 알고리즘의 평가가 가능해졌다.