[논문 리뷰] Orbit: A Unified Simulation Framework for Interactive Robot Learning Environments

Mayank Mittal, Calvin Yu외 13명|arXiv (Cornell University)|2023. 01. 10.

Modular Robots and Swarm Intelligence인용 수 5

한 줄 요약

Orbit는 NVIDIA Isaac Sim 기반으로 구축된 오픈소스이며 GPU 가속 기반의 시뮬레이션 프레임워크로, 고정밀 물리 모델, 사진 수준의 렌더링, 모듈식 로봇-환경 상호작용을 통합하여 확장 가능한 로봇 학습을 가능하게 한다. 이는 강화학습 정책의 빠른 훈련과 다양한 로봇 플랫폼 16종, 운동 생성기 10종, 20개 이상의 벤치마크 작업에서 다양한 센서와 시뮬레이션-실세계 배포를 지원하는 지도 학습 데이터 수집을 가능하게 한다.

ABSTRACT

We present Orbit, a unified and modular framework for robot learning powered by NVIDIA Isaac Sim. It offers a modular design to easily and efficiently create robotic environments with photo-realistic scenes and high-fidelity rigid and deformable body simulation. With Orbit, we provide a suite of benchmark tasks of varying difficulty -- from single-stage cabinet opening and cloth folding to multi-stage tasks such as room reorganization. To support working with diverse observations and action spaces, we include fixed-arm and mobile manipulators with different physically-based sensors and motion generators. Orbit allows training reinforcement learning policies and collecting large demonstration datasets from hand-crafted or expert solutions in a matter of minutes by leveraging GPU-based parallelization. In summary, we offer an open-sourced framework that readily comes with 16 robotic platforms, 4 sensor modalities, 10 motion generators, more than 20 benchmark tasks, and wrappers to 4 learning libraries. With this framework, we aim to support various research areas, including representation learning, reinforcement learning, imitation learning, and task and motion planning. We hope it helps establish interdisciplinary collaborations in these communities, and its modularity makes it easily extensible for more tasks and applications in the future.

연구 동기 및 목표

• 로봇 학습 연구에서 다양한 로봇 플랫폼, 센서 모odalities, 학습 철학을 지원하는 통합적이고 모듈식이며 고정밀 시뮬레이션 프레임워크의 부족을 해결하기 위해.
• 실제 물리 모델, 렌더링, 센서 시뮬레이션을 통합한 표준화되고 확장 가능한 플랫폼을 제공하여 연구자들이 진입 장벽을 낮추기 위해.
• GPU 기반 병렬 처리와 실시간 시뮬레이션을 통해 강화학습 및 이민학습을 위한 효율적인 훈련과 데이터 수집을 가능하게 하기 위해.
• 정확한 접촉 역학과 ROS 및 ZMQ 기반 제어 파이프라인과 같은 실제 로봇 스택과의 호환성을 확보하여 시뮬레이션-실세계 전이를 지원하기 위해.
• 표현 학습, 작업 및 운동 계획, 로봇 학습 분야의 다학제적 협업을 위한 공통 기반을 마련하기 위해 포괄적인 프레임워크를 오픈소스화하기 위해.

제안 방법

• NVIDIA Isaac Sim의 PhysX 5 및 Omniverse RTX 렌더링 엔진을 활용하여 강체 및 탄성 물체의 고정밀 실시간 시뮬레이션을 가능하게 하며, 사진 수준의 시각적 질을 제공한다.
• 로봇 플랫폼, 센서, 운동 생성기, 환경 자산을 위한 재사용 가능한 구성 요소를 포함한 모듈식 아키텍처를 적용하여 빠른 작업 및 환경 조합을 가능하게 한다.
• GPU 가속 물리 및 센서 시뮬레이션을 통해 높은 처리량을 달성—최대 초당 125,000개의 시뮬레이션 스텝—강화학습 정책 훈련 및 데이터 수집을 가속화한다.
• CPU 및 GPU 기반의 운동 생성기(예: 역기구학, MPC, 미리 훈련된 이동 정책)를 통합하여 다양한 행동 공간과 제어 전략을 지원한다.
• ZMQ 기반 통신과 1000Hz 명령 업샘플링을 통해 시뮬레이션-실세계 배포를 지원하며, Franka Emika 및 ANYmal-D 로봇에서 검증되었다.
• 강체 및 탄성 물체 조작(예: 캐비닛 열기, 천 접기, 방 재구성 등)을 포함한 표준화된 벤치마크 작업을 제공하며, 다양한 센서 모달리티와 관측 공간을 지원한다.

Figure 1: Orbit ’s abstractions comprise World , analogous to the real world, and Agent , the computation graph behind the embodied system. The nodes in the agent’s graph can perform observation-based or action-based processing. Through a graph-cut over this computation graph and specifying an extri

실험 결과

연구 질문

• RQ1 통합 시뮬레이션 프레임워크는 다양한 로봇 플랫폼, 센서 모달리티, 강화학습 및 이민학습과 같은 다양한 학습 철학을 효율적으로 지원할 수 있는가?
• RQ2 시뮬레이션에서의 고정밀 물리 모델 및 렌더링은 접촉이 많은 조작 및 이동 작업에서 성공적인 시뮬레이션-실세계 전이를 가능하게 하는가?
• RQ3 GPU 가속 시뮬레이션은 복잡한 로봇 작업을 위한 확장 가능한 데이터 수집 및 정책 훈련을 얼마나 효과적으로 가능하게 하는가?
• RQ4 모듈식이고 확장 가능한 프레임워크는 다양한 적용 분야에서 로봇 학습 연구의 개발 오버헤드를 줄이고 가속화할 수 있는가?
• RQ5 물리 기반 센서와 노이즈 모델의 통합은 학습된 정책의 현실성과 일반화 능력을 얼마나 향상시키는가?

주요 결과

• Orbit는 단일 GPU에서 최대 초당 125,000단계의 시뮬레이션 처리량을 달성하여 완전한 로봇 시스템의 스케일링된 훈련 및 평가를 가능하게 한다.
• 프레임워크는 고정암형, 이동형 조작로봇, 4족 보행로봇 포함 총 16종의 로봇 플랫폼을 지원하며, 다양한 제어 전략을 위한 10종의 GPU 및 CPU 기반 운동 생성기를 제공한다.
• ZMQ 기반 통신과 1000Hz 명령 업샘플링을 활용해 Franka Emika 로봇에서 시뮬레이션-실세계 배포를 성공적으로 구현하였으며, 안정적인 실시간 제어를 달성했다.
• ANYmal-D 이동 정책을 시뮬레이션에서 훈련하고 실제 로봇에 ANYmal ROS 스택을 사용해 배포함으로써 Orbit의 접촉 역학의 정밀도를 확인했다.
• RTX 3090에서 10대의 640×480 RGB 카메라 렌더링은 현재 약 270 FPS로 제한되어 있으나, 지속적인 GPU 가속 개선 노력으로 이 버팀목을 개선하고자 한다.
• 프레임워크는 20개 이상의 벤치마크 작업을 포함하며, 이 중 11개는 강체 물체 조작, 13개는 탄성 물체 조작을 포함하여 로봇 학습 알고리즘 평가를 위한 표준화된 테스트베드를 제공한다.

Figure 2: Illustration of actuator groups for a legged mobile manipulator. This allows decomposing a complex system into sub-groups and defining specific transmission models for each of them flexibly.