[논문 리뷰] PyRep: Bringing V-REP to Deep Robot Learning

Stephen James, Marc Freese외 1명|arXiv (Cornell University)|2019. 06. 26.

Reinforcement Learning in Robotics참고 문헌 9인용 수 89

한 줄 요약

PyRep은 맞춤형 Python API, 새로운 렌더링 엔진, 그리고 V-REP에 대한 대폭적인 속도 향상을 제공하여 RL, 모방 학습, 및 비전 작업에서 깊은 로봇 학습의 빠른 프로토타이핑을 가능하게 한다.

ABSTRACT

PyRep is a toolkit for robot learning research, built on top of the virtual robotics experimentation platform (V-REP). Through a series of modifications and additions, we have created a tailored version of V-REP built with robot learning in mind. The new PyRep toolkit offers three improvements: (1) a simple and flexible API for robot control and scene manipulation, (2) a new rendering engine, and (3) speed boosts upwards of 10,000x in comparison to the previous Python Remote API. With these improvements, we believe PyRep is the ideal toolkit to facilitate rapid prototyping of learning algorithms in the areas of reinforcement learning, imitation learning, state estimation, mapping, and computer vision.

연구 동기 및 목표

• 로봇 공학에서 데이터 효율적 학습과 시뮬레이션-실세계 전이(sim-to-real transfer)를 위한 시뮬레이션 사용의 필요성을 제시한다.
• 학습 파이프라인을 위한 Python 친화적이고 고성능의 V-REP 위 레이어로써 PyRep를 도입한다.
• 학습 프레임워크 내에서 로봇, 인지/지각, 계획의 간단한 API 및 통합 포인트를 제공한다.

제안 방법

• 오픈 소스 V-REP를 수정하여 시뮬레이션 루프에 대한 직접 Python 제어를 제공하고 지연을 줄인다.
• 원래의 Python 원격 API를 대체하여 스레드 간 통신 지연을 최소화하는 Python API를 제공한다.
• 성과를 유지하면서 사실적인 렌더링을 위해 OpenGL 3.0+ 렌더러로 V-REP를 확장한다.
• 시뮬레이션 핸들 및 로봇 구성 요소를 관리하는 객체지향 PyRep API를 제공한다.
• 최소한의 Python 코드로 새로운 로봇 및 모션 플래닝 기능의 추가를 가능하게 한다.
• 강화학습, 모방학습, 상태 추정, 매핑, 컴퓨터 비전에 대한 사례를 시연한다.

실험 결과

연구 질문

• RQ1 PyRep가 원래의 V-REP Python API에 비해 데이터가 많은 학습 방법에 적합한 더 빠른 환경 상호작용을 가능하게 할 수 있는가?
• RQ2 향상된 렌더링과 API 설계가 로봇 학습 워크플로의 사용성 및 통합을 개선하는가?
• RQ3 로봇 설정에서 학습 알고리즘의 빠른 프로토타이핑을 PyRep가 얼마나 가속할 수 있는가?

주요 결과

• PyRep은 환경 상호작용에서 원래의 V-REP Python API에 비해 최대 10,000×의 속도 향상을 달성한다.
• V-REP 장면용 그림자 렌더링이 포함된 새로운 OpenGL 3.0+ 렌더러를 도입한다.
• 시뮬레이션 핸들, 로봇, 센서를 관리하기 위한 직관적이고 객체지향적인 Python API를 제공한다.
• 몇 줄의 Python 코드로 새로운 로봇 및 모션 플래닝 기능의 추가를 간소화한다.
• 로보틱스에서 강화 학습, 모방 학습, 상태 추정, 매핑, 컴퓨터 비전에 대한 실용적인 도구로 PyRep의 위치를 확립한다.