[논문 리뷰] ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills

Jiayuan Gu, Fanbo Xiang외 13명|arXiv (Cornell University)|2023. 02. 09.

Robot Manipulation and Learning인용 수 21

한 줄 요약

ManiSkill2는 20개 작업 가족, 2000개 이상 객체, 4M+ 시연, 다중 컨트롤러 지원, 빠른 시각적 RL, 일반화 가능한 조작 연구를 위한 소프트 바디 물리학을 갖춘 통합적이고 완전 동적 3D 조작 벤치마크를 제공합니다.

ABSTRACT

Generalizable manipulation skills, which can be composed to tackle long-horizon and complex daily chores, are one of the cornerstones of Embodied AI. However, existing benchmarks, mostly composed of a suite of simulatable environments, are insufficient to push cutting-edge research works because they lack object-level topological and geometric variations, are not based on fully dynamic simulation, or are short of native support for multiple types of manipulation tasks. To this end, we present ManiSkill2, the next generation of the SAPIEN ManiSkill benchmark, to address critical pain points often encountered by researchers when using benchmarks for generalizable manipulation skills. ManiSkill2 includes 20 manipulation task families with 2000+ object models and 4M+ demonstration frames, which cover stationary/mobile-base, single/dual-arm, and rigid/soft-body manipulation tasks with 2D/3D-input data simulated by fully dynamic engines. It defines a unified interface and evaluation protocol to support a wide range of algorithms (e.g., classic sense-plan-act, RL, IL), visual observations (point cloud, RGBD), and controllers (e.g., action type and parameterization). Moreover, it empowers fast visual input learning algorithms so that a CNN-based policy can collect samples at about 2000 FPS with 1 GPU and 16 processes on a regular workstation. It implements a render server infrastructure to allow sharing rendering resources across all environments, thereby significantly reducing memory usage. We open-source all codes of our benchmark (simulator, environments, and baselines) and host an online challenge open to interdisciplinary researchers.

연구 동기 및 목표

• 다양한 객체 수준 변이와 완전 동적 시뮬레이션을 포함하여 일반화 가능한 조작 기술에 대한 재현 가능한 연구를 촉진한다.
• 여러 관찰 모드와 컨트롤러를 지원하는 통합된 OpenAI Gym 인터페이스를 제공한다.
• 시각적 강화 학습을 위한 빠른 데이터 수집을 가능하게 하고 프레임워크 간 비교를 가능하게 한다.
• 소프트 바디와 강체 간의 상호 작용을 지원하며 소프트 바디 시뮬레이터와 강체 시뮬레이터 간의 양방향 결합을 제공한다.
• 온라인 챌린지와 함께 공통 벤치마크에서 감지-계획-실행, 모방 학습, 강화 학습을 촉진한다.

제안 방법

• 정지형/이동형 베이스, 단일/이중 팔, 강체/소프트 바디 조작을 아우르는 20개 작업 가족을 도입한다.
• 통합된 Gym 인터페이스 하에 2000개 이상의 객체 모델과 4M+ 시연을 포함한 완전 동적 시뮬레이션을 구현한다.
• 하드-소프트 상호 작용을 위해 강체 시뮬레이터(SAPIEN)와의 양방향 결합을 갖춘 실시간 GPU 가속 소프트 바디 MPM 시뮬레이터를 개발한다.
• 다중 컨트롤러(joint-space, delta joint-space, delta end-effector pose 등)와 서로 다른 컨트롤러에 맞추려는 시연-동작 공간 변환을 제공한다.
• 비동기 렌더링과 렌더-서버를 통해 GPU 자원을 환경 간에 공유하며 시각적 RL의 빠른 샘플링을 가능하게 한다.
• 동시 컨트롤러 간 시연 동작 변환 도구를 제공하여 동적 프로세스를 보존한다.

Figure 1: ManiSkill2 provides a unified, fast, and accessible system that encompasses well-curated manipulation tasks (e.g., stationary/mobile-base, single/dual-arm, rigid/soft-body).

실험 결과

연구 질문

• RQ1 하나의 통합 벤치마크가 다양한 작업 가족과 객체 변형에 걸친 일반적이고 일반화 가능한 조작 기술의 평가를 어떻게 지원할 수 있는가?
• RQ2 조작을 위한 단일 고충실도 실시간 시뮬레이션 환경에서 강체와 소프트 바디 다이나믹스를 통합하는 이점과 도전 과제는 무엇인가?
• RQ3 다른 컨트롤러와 작용 공간 표현이 조작 과제에서 학습, 탐색, 시뮬레이션-실제 전이(sim2real)에 어떤 영향을 미치는가?
• RQ4 대규모 시연을 컨트롤러 간에 효과적으로 변환하여 모방 학습 및 강화 학습에서 광범위한 분석을 가능하게 할 수 있는가?
• RQ5 빠른 시각적 RL 파이프라인(비동기 렌더링 및 렌더-서버)이 샘플 처리량과 메모리 사용량에 미치는 성능 영향은 무엇인가?

주요 결과

• ManiSkill2는 통합 인터페이스에서 20개 작업 가족과 2000개 이상의 객체 및 4M+ 시연 프레임을 지원한다.
• 비동기 렌더링과 렌더 서버를 통해 높은 처리량의 시각적 RL을 달성하여 특정 설정에서 2000+ FPS를 가능하게 한다.
• 강체 시뮬레이터에 양방향 결합을 갖춘 실시간 소프트 바디 시뮬레이션을 도입하여 로봇과 자산과의 상호 작용을 가능하게 한다.
• 행동 복제는 강체 과제에서 성능이 저조하지만 시연 보강 RL(DAPG+PPO)은 일부 강체 과제에서 개선된 결과를 보여주고 고정밀 조립 과제는 여전히 어려움을 보인다.
• ManiSkill2에서 학습된 시각적 RL 정책은 부분적인 시뮬레이션-실제 전이 가능성을 보이며, 실제 PickCube는 10M 타임스텝의 시뮬레이션 학습 후 60%의 성공률을 달성한다.
• 다중 컨트롤러 변환 시스템은 결정적이며 컨트롤러 유형의 변경이 PickSingleYCB와 같은 과제의 성공에 크게 영향을 준다.

Figure 2: Two pipelines for visual RL sample collection. (a) Sequential pipeline. (b) Our pipeline with asynchronous rendering and render server improves CPU utilization, reduces data transfer, and saves memory.