[논문 리뷰] ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations

Tongzhou Mu, Zhan Ling외 7명|arXiv (Cornell University)|2021. 07. 30.

3D Shape Modeling and Analysis참고 문헌 89인용 수 27

한 줄 요약

ManiSkill은 다양한 관절Objects에서 일반화 가능한 3D 시각 기반 조작 기술을 위한 대규모 오픈 소스 벤치마크를 소개하며, 36k 시연과 네 가지 과제가 전체 물리 시뮬레이터에서 제공됩니다.

ABSTRACT

Object manipulation from 3D visual inputs poses many challenges on building generalizable perception and policy models. However, 3D assets in existing benchmarks mostly lack the diversity of 3D shapes that align with real-world intra-class complexity in topology and geometry. Here we propose SAPIEN Manipulation Skill Benchmark (ManiSkill) to benchmark manipulation skills over diverse objects in a full-physics simulator. 3D assets in ManiSkill include large intra-class topological and geometric variations. Tasks are carefully chosen to cover distinct types of manipulation challenges. Latest progress in 3D vision also makes us believe that we should customize the benchmark so that the challenge is inviting to researchers working on 3D deep learning. To this end, we simulate a moving panoramic camera that returns ego-centric point clouds or RGB-D images. In addition, we would like ManiSkill to serve a broad set of researchers interested in manipulation research. Besides supporting the learning of policies from interactions, we also support learning-from-demonstrations (LfD) methods, by providing a large number of high-quality demonstrations (~36,000 successful trajectories, ~1.5M point cloud/RGB-D frames in total). We provide baselines using 3D deep learning and LfD algorithms. All code of our benchmark (simulator, environment, SDK, and baselines) is open-sourced, and a challenge facing interdisciplinary researchers will be held based on the benchmark.

연구 동기 및 목표

• 3D 시각 입력에서의 물체 수준 일반화 평가를 위한 동기 부여 및 가능하게 함.
• 다양한 형태학/토폴로지 변형을 가진 관절 객체를 제공하여 클래스 내 일반화 테스트를 수행.
• 다양한 조작 도전에 대응하는 여러 과제 유형 제공(회전관절, 프리즘, 평면, 비제한 운동).
• 성공 궤적의 대규모 데이터 세트를 통한 학습-에서-시연(LfD) 지원으로 BC/오프라인 RL 베이스라인 촉진.
• 오픈형 멀티 트랙 벤치마크(비전, RL, 로봇공학)와 확장 가능한 데이터 수집을 통해 학제 간 연구를 촉진.

제안 방법

• OpenCabinetDoor, OpenCabinetDrawer, PushChair, MoveBucket의 네 가지 조작 과제 설계로 각기 다른 관절 객체를 구성.
• 로봇 부착 카메라의 에고-시점 파노라마 3D 관측(포인트 클라우드, RGB-D)을 사용해 3D 인지를 가능하게 함.
• 공유 보상 템플릿과 MPC 보조 검증을 갖춘 RL 기반 확장 가능한 파이프라인을 통해 약 36,000회의 성공 시연(약 1.5M 포인트 클라우드/RGB-D 프레임) 수집.
• Baseline 3D 딥러닝 정책(PointNet; PointNet + Transformer) 및 학습-에서-시연(LfD) 접근(Imitation Learning BC; Offline RL BCQ, TD3+BC)을 제공.
• 각 과제 내에서 다수의 트랙(상호 작용 없음, 외부 주석 없음, 제약 없음) 하에서 물체 수준 일반화를 평가하기 위해 학습/테스트 물체를 분할.
• 수동 후처리(convex decomposition, artifact 제거) 및 검증이 포함된 PartNet-Mobility 자산을 활용해 해결 가능한 환경을 보장.

실험 결과

연구 질문

• RQ1 다양한 클래스 내 물체 변이에서 3D 시각 입력으로부터 물체 수준 일반화 가능한 조작 기술을 정책이 학습할 수 있는가?
• RQ2 다양한 물체 세트에서 학습될 때 3D 딥러닝 구조(PointNet, Transformer)와 LfD 방법이 물체 수준 일반화에서 얼마나 잘 작동하는가?
• RQ3 관찰 방식(포인트 클라우드 vs RGB-D)이 ManiSkill의 일반화 성능에 어떤 영향을 미치는가?
• RQ4 시연이 모두 성공적일 때 오프라인 RL 방법이 행동 클로닝을 능가하는가, 어떤 조건에서?
• RQ5 다양한 과제 모션(회전관절, 프리즘, 평면, 비제한) 등이 정책 학습과 일반화에 어떤 도전을 제시하는가?

주요 결과

• 토폴로지/기하의 큰 클래스 내 변이가 물체 수준 일반화를 평가하는 데 도움이 됨.
• 시연이 있다고 해도 전반적인 일반화 성능은 여전히 도전적하며, 학습/테스트 간 성능 격차가 과제 전반에서 드러남.
• BC를 갖춘 PointNet + Transformer가 테스트된 베이스라인 중 물체 수준 일반화에 가장 우수한 성능을 보였으나 평균 테스트 성공률은 여전히 ​​제한적임.
• 제공된 시연에서 BC보다 오프라인 RL 방법(BCQ, TD3+BC)이 일관되게 우수하지는 않았으며, 데이터 및 과제의 복잡성을 시사함.
• 시연 수가 성능을 향상시키지만 더 많은 궤적이 있어도 보지 않은 물체에서 일반화는 여전히 비판적임.
• 3차원 입력 전략(세그먼트 마스크가 있는 포인트 클라우드)과 로봇 상태 연결이 인지 및 정책 학습에 중요한 설계 선택임.