[논문 리뷰] iGibson 1.0: a Simulation Environment for Interactive Tasks in Large Realistic Scenes

Bokui Shen, Fei Xia외 13명|arXiv (Cornell University)|2020. 12. 05.

Robot Manipulation and Learning참고 문헌 70인용 수 45

한 줄 요약

iGibson 1.0은 물리 기반 시뮬레이션 환경으로, 15개의 대화형 가정 규모 장면(108개 방)을 제공하며 고품질 가상 센서, 도메인 무작위화, 모션 계획, 그리고 대형 현실적 환경에서 내비게이션과 조작 연구를 위한 인간 인터페이스를 통해 강력한 센서운동 학습 및 모방 학습을 가능하게 한다.

ABSTRACT

We present iGibson 1.0, a novel simulation environment to develop robotic solutions for interactive tasks in large-scale realistic scenes. Our environment contains 15 fully interactive home-sized scenes with 108 rooms populated with rigid and articulated objects. The scenes are replicas of real-world homes, with distribution and the layout of objects aligned to those of the real world. iGibson 1.0 integrates several key features to facilitate the study of interactive tasks: i) generation of high-quality virtual sensor signals (RGB, depth, segmentation, LiDAR, flow and so on), ii) domain randomization to change the materials of the objects (both visual and physical) and/or their shapes, iii) integrated sampling-based motion planners to generate collision-free trajectories for robot bases and arms, and iv) intuitive human-iGibson interface that enables efficient collection of human demonstrations. Through experiments, we show that the full interactivity of the scenes enables agents to learn useful visual representations that accelerate the training of downstream manipulation tasks. We also show that iGibson 1.0 features enable the generalization of navigation agents, and that the human-iGibson interface and integrated motion planners facilitate efficient imitation learning of human demonstrated (mobile) manipulation behaviors. iGibson 1.0 is open-source, equipped with comprehensive examples and documentation. For more information, visit our project website: http://svl.stanford.edu/igibson/

연구 동기 및 목표

• 대형이고 현실적인 실내 장면에서 상호작용 작업을 위한 구현 에이전트 프레이워크를 개발한다.
• 강인한 인지 학습을 위한 고품질 가상 센서 신호(RGB, depth, LiDAR, flow, normals, segmentation)를 제공한다.
• 재료, 형태, 객체 인스턴스에 대한 도메인 무작위화를 제공하여 일반화를 향상시킨다.
• 충돌 없는 내비게이션과 조작을 위한 샘플링 기반 모션 플래너를 통합한다.
• 모방 학습을 위한 효과적인 데모 수집을 위한 인간-iGibson 인터페이스를 제공한다.

제안 방법

• 실제 가정을 본떠 모델링된 15개의 완전 상호작용 장면(108개의 방)으로, 가동 객체와 재료/동역학 주석을 포함한다.
• 현실성을 위해 장면/재료 맵을 사용하는 PBR 재료 및 렌더링을 갖춘 물리 기반 렌더러를 제공한다.
• 학습 분포를 확장하기 위해 객체 인스턴스 및 재료 특성에 대한 도메인 무작위화를 지원한다.
• 풍부한 인지 신호를 제공하기 위해 LiDAR 및 기타 가상 센서(RGB, depth, normals, flow, segmentation)를 포함한다.
• 가속화된 단축 경로를 갖춘 RRT, BiRRT, lazyPRM 등의 오픈 소스 모션 플래너를 통합하여 더 매끄러운 궤적을 달성한다.
• 데모를 수집하고 플래너 보조 작업을 돕기 위해 인간-iGibson 인터페이스(mouse/keyboard)를 제공한다.

Figure 1 : Robot performs an interactive task in iGibson 1.0. It operates in the kitchen of one of iGibson’s fully interactive scenes, planning an interaction with the arm using a integrated sampling-based motion planner and receiving first-person view. Bottom: The same scene can be randomized with

실험 결과

연구 질문

• RQ1 도메인 무작위화와 현실적인 센서 신호가 보지 못한 씬들에 대해 내비게이션 정책의 일반화에 어떤 영향을 미치는가?
• RQ2 iGibson으로 학습된 정책이 새로운 환경에서 LiDAR, RGB 또는 depth 입력을 사용할 때 일반화할 수 있는가?
• RQ3 iGibson 인터페이스를 통해 수집된 인간 시연이 조작 및 이동식 조작에 대한 효과적 모방 학습을 지원하는가?
• RQ4 완전히 상호작용하는 장면에서의 학습이 후속 조작 작업을 가속하는 시각 표현 학습을 가능하게 하는가?

주요 결과

• 도메인 무작위화로 학습된 정책은 깊이 기반 PointGoal 내비게이션에서 일반화가 향상되었다(SPL 0.27에서 0.40; 성공률 31.25%에서 44.75%).
• 재료 무작위화로 RGB 기반 객체 내비게이션의 성공률이 49.75%에서 57.5%로 향상.
• LiDAR 기반 PointGoal 내비게이션은 iGibson Rs_int에서 33% 성공으로 전달되고 실제 세계의 아파트에서 24% (적응 없이).
• 인간-iGibson 인터페이스를 사용한 모방 학습은 시뮬레이션에서 픽 앤 플레이스 작업의 98% 성공을 달성.
• 모바일 조작 모방 학습은 평가 에피소드에서 70% 성공.
• 상호작용 기반 표현을 이용한 사전학습이 하류 조작 작업 학습을 가속시켜 샘플 효율성을 향상.

(a) pick