[논문 리뷰] iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks

Chengshu Li, Fei Xia외 14명|arXiv (Cornell University)|2021. 08. 06.

Robot Manipulation and Learning참고 문헌 33인용 수 62

한 줄 요약

iGibson 2.0은 객체 중심의 확장 상태(온도, 습기, 청결도, 토글 및 조각화), 술어 기반 로직과 샘플링, 그리고 시연 수집용 VR 인터페이스를 통해 Gibson 시뮬레이션을 확장하여 여섯 가지 새로운 가정용 작업과 모방 학습을 가능하게 합니다.

ABSTRACT

Recent research in embodied AI has been boosted by the use of simulation environments to develop and train robot learning approaches. However, the use of simulation has skewed the attention to tasks that only require what robotics simulators can simulate: motion and physical contact. We present iGibson 2.0, an open-source simulation environment that supports the simulation of a more diverse set of household tasks through three key innovations. First, iGibson 2.0 supports object states, including temperature, wetness level, cleanliness level, and toggled and sliced states, necessary to cover a wider range of tasks. Second, iGibson 2.0 implements a set of predicate logic functions that map the simulator states to logic states like Cooked or Soaked. Additionally, given a logic state, iGibson 2.0 can sample valid physical states that satisfy it. This functionality can generate potentially infinite instances of tasks with minimal effort from the users. The sampling mechanism allows our scenes to be more densely populated with small objects in semantically meaningful locations. Third, iGibson 2.0 includes a virtual reality (VR) interface to immerse humans in its scenes to collect demonstrations. As a result, we can collect demonstrations from humans on these new types of tasks, and use them for imitation learning. We evaluate the new capabilities of iGibson 2.0 to enable robot learning of novel tasks, in the hope of demonstrating the potential of this new simulator to support new research in embodied AI. iGibson 2.0 and its new dataset are publicly available at http://svl.stanford.edu/igibson/.

연구 동기 및 목표

• 로봇 시뮬레이션을 운동학-다양성(kine dynamics)을 넘어 가정용 작업과 관련된 객체 상태 변화(예: 온도, 습기, 청결도)를 다루도록 확장할 동기를 제시합니다.
• 물리적 상태를 의미 상태로 매핑하고 다양한 작업 인스턴스를 시드하기 위한 논리적 술어와 생성 샘플링 프레임워크를 도입합니다.
• 새로운 작업에 대한 모방 학습을 위한 인간 시연 수집을 위한 VR 인터페이스를 제공합니다.
• 시맨틱하게 배치된 소형 객체들로 가득 찬 장면을 채워 현실적인 작업 학습을 지원하는 능력을 보여줍니다.
• 확장된 상태와 VR 가이드 시연을 통해 학습 가능성을 보이기 위한 여섯 가지 새로운 작업을 평가합니다.]
• method:["온도, 습기 수준, 청결도 수준, 토글 상태, 및 조리 상태(절단 포함)를 객체 범주별로 유지하는 확장된 객체 상태를 도입합니다.","물리적 상태를 의미 상태로 매핑하고 언어 기반 표현을 가능하게 하는 단항 및 이항 논리 술어(예: Cooked, Soaked, InsideOf)를 정의합니다.","논리 상태에서 의미 있는 초기 장면을 생성 가능한 시뮬레이션 상태를 생성하는 제너레이티브 샘플링 시스템을 구현합니다.","제너레이티브 시스템을 사용하여 장면을 조밀하게 채우는 규칙 기반 메커니즘을 개발하여 수동 작문 없이 현실감을 높입니다.","몰입형 시연을 위한 VR 인터페이스(OpenVR 호환)와 자연스러운 양손 조작을 가능하게 하는 보조 그리핑을 도입합니다.",""상태의 결정론적으로 재생 가능한 로그를 제공하여 후속 센서 신호 생성 및 모방 학습 워크플로우를 지원합니다.]
• research_questions:[

제안 방법

실험 결과

연구 질문

• RQ1 확장된 객체 상태가 이전 시뮬레이터에서 불가능했던 새로운 가정용 작업 학습을 가능하게 합니까?
• RQ2 술어 기반 생성 시스템이 다양하고 현실적인 작업 초기화를 생성하는 데 얼마나 효과적입니까?
• RQ3 VR 기반 시연 인터페이스가 이러한 확장 상태 작업에서 양손 조작에 대한 모방 학습을 개선합니까?
• RQ4 온도, 습도, 절단을 포함하는 작업에서 강화학습과 모방학습의 한계점은 어디에 있습니까?

주요 결과

• 확장 상태가 필요한 여섯 가지 새로운 작업을 평가했습니다: Grasping Book(책 잡기), Soaking Towel(타월 침지), Cleaning Stained Shelf(오염된 선반 청소), Cooking Meat(고기 요리), Slicing Fruit(과일 절단), Bimanual Pick and Place(양손 들고 옮기기).
• 단순화된 그리핑으로 SAC는 Grasping Book, Soaking Towel, Cleaning Stained Shelf, Cooking Meat에서 100% 성공을 달성했습니다; Slicing Fruit는 15%(양손 인간형), 0%(Fetch)였습니다.
• 양손 인간형 모델로의 이등 운용 Pick and Place는 협응 문제로 0%를 보였고, 전체 그립 복합성 있는 Fetch는 두 작업에서 25%, 나머지 세 작업에서 0%를 달성했습니다.
• VR 시연을 통한 양손 작업의 모방 학습은 목표점에서 6초 전과 3초 전 시작 시 각각 19%와 46%의 성공을 보였습니다.
• 타당성 있는 다양한 초기 상태를 점진적으로 증가시키며 Soaking Towel에 대한 제거 실험에서 강인성 증가를 보였습니다: 19%, 79%, 87%의 성공률.
• VR 인터페이스는 모방 학습을 위한 시연 수집을 가능하게 하며, 길고 다단계인 작업에서 공변량-시프트 문제를 강조합니다.