[논문 리뷰] Lyceum: An efficient and scalable ecosystem for robot learning

Colin Summers, Kendall Lowrey외 3명|arXiv (Cornell University)|2020. 01. 21.

Reinforcement Learning in Robotics참고 문헌 15인용 수 4

한 줄 요약

Lyceum는 Julia와 MuJoCo 기반의 고성능 계산 생태계로, 고수준 추상화와 제로코스트 성능를 결합하여 Gym 및 dm-control 대비 5–30배 빠른 학습을 가능하게 한다. 효율적인 메모리 관리, 인-place 연산, 네이티브 병렬 처리를 통해 강화학습과 실시간 모델 예측 제어를 가속화한다.

ABSTRACT

We introduce Lyceum, a high-performance computational ecosystem for robot learning. Lyceum is built on top of the Julia programming language and the MuJoCo physics simulator, combining the ease-of-use of a high-level programming language with the performance of native C. In addition, Lyceum has a straightforward API to support parallel computation across multiple cores and machines. Overall, depending on the complexity of the environment, Lyceum is 5-30x faster compared to other popular abstractions like OpenAI's Gym and DeepMind's dm-control. This substantially reduces training time for various reinforcement learning algorithms; and is also fast enough to support real-time model predictive control through MuJoCo. The code, tutorials, and demonstration videos can be found at: www.lyceum.ml.

연구 동기 및 목표

• Gym 및 dm-control와 같은 느린 파이썬 기반 프레임워크로 인한 로봇 학습의 계산 병목 현상을 해결하기 위해.
• 실험의 반복 시간을 단축시켜 딥 강화학습 정책의 더 빠른 학습을 가능하게 하기 위해.
• 기존 프레임워크가 성능 한계로 인해 충족시킬 수 없는 엄격한 시간 제약 조건 하에 물리 시뮬레이터에서 실시간 모델 예측 제어(MPC)를 지원하기 위해.
• Julia의 제로코스트 추상화를 통해 C 수준 성능을 유지하면서도 고수준이고 확장 가능한 생태계를 제공하기 위해.
• 거대한 클라우드 컴퓨팅 예산이 없는 연구소에서도 고급 로봇 제어 알고리즘에 접근 가능하게 하기 위해.

제안 방법

• Julia의 성능와 메타프로그래밍 기능을 활용해 MuJoCo를 제로코스트 추상화로 감싸, C 수준의 속도를 유지하면서도 고수준 구문을 제공한다.
• 임의의 상태 접근, 인-place 연산, 컨트롤러 벤치마킹을 위한 선택적 평가 지표를 지원하는 유연한 AbstractEnvironment 인터페이스를 도입한다.
• MuJoCo.jl을 사용해 MuJoCo 2.0에 대한 저수준 메모리 매핑 인터페이스를 제공하며, 직접 필드 접근(예: d.qpos[:, :arm])을 허용한다.
• Gym 및 dm-control와 유사한 고수준 환경 추상화를 제공하지만, 성능 최적화된 함수 호출을 구현한 LyceumMuJoCo.jl을 구축한다.
• Trajectory 및 컨트롤러의 상호작용 시각화를 가능하게 하여 내구성 테스트를 실시간으로 수행할 수 있도록 LyceumMuJoCoViz.jl을 활용한다.
• Flux.jl 및 Zygote.jl와 통합된 LyceumAI.jl을 통해 신경망 학습과 자동 미분을 지원하며, MPPI 및 자연 정책 기울기 알고리즘의 효율적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 Julia와 같은 고수준 프로그래밍 언어가 사용성 손실 없이 로봇 시뮬레이션에서 C 수준 성능를 달성할 수 있는가?
• RQ2 새로운 생태계가 Gym 및 dm-control와 같은 기존 프레임워크 대비 딥 강화학습 학습 시간을 얼마나 줄일 수 있는가?
• RQ3 엄격한 시간 제약 조건 하에 상세한 물리 시뮬레이션을 통한 실시간 모델 예측 제어(MPC)를 생태계가 지원할 수 있는가?
• RQ4 인-place 연산과 제로코스트 추상화의 사용이 메모리 할당 및 가비지 컬렉션 오버헤드를 최소화하는 데 얼마나 효과적인가?
• RQ5 생태계가 MPPI 및 자연 정책 기울기와 같은 확률적 제어 알고리즘을 위한 스케일링 가능하고 병렬화된 롤아웃을 지원할 수 있는가?

주요 결과

• Lyceum는 다양한 환경에서 Gym 및 dm-control 대비 5–30배 빠른 성능를 기록하여 강화학습 알고리즘의 학습 시간을 크게 단축시킨다.
• MuJoCo 기반으로 실시간 모델 예측 제어를 지원하여 피드백이 있는 클로즈드 루프 제어를 가능하게 하며, 이는 기존의 파이썬 기반 프레임워크로는 구현이 불가능하다.
• 인-place 연산(예: 사전 할당된 버퍼를 사용한 getstate!)은 불필요한 메모리 할당을 제거하여 엄격한 실시간 제어 루프에 적합한 시스템을 만든다.
• 추상화 계층을 통해 시뮬레이터 상태에 대한 전면적 접근을 제공하며, 표준 외 상태 구성요소까지도 지원하여 모델 기반 제어 및 운동 계획에 필수적이다.
• Julia의 병렬 처리 및 자동 미분 기능 통합을 통해 MPPI 및 자연 정책 기울기 알고리즘의 효율적이고 멀티스레드 기반 롤아웃을 가능하게 하여 수렴 속도를 가속화한다.
• 프레임워크는 확장 가능하며, MuJoCo 외에도 RigidBodySim.jl 또는 DART와 같은 다른 시뮬레이터를 깔끔한 인터페이스 추상화를 통해 지원한다.