[논문 리뷰] Habitat 2.0: Training Home Assistants to Rearrange their Habitat

Andrew Szot, Alexander Clegg외 19명|arXiv (Cornell University)|2021. 06. 28.

Reinforcement Learning in Robotics참고 문헌 83인용 수 25

한 줄 요약

본 논문은 Habitat 2.0 (H2.0)과 ReplicaCAD를 도입하여 오래 지속되는 가정 재배치 태스크를 연구하는 빠른 물리 기반 시뮬레이터이자 HAB 벤치마크를 제시하고, 엔드-투-엔드 RL 정책과 고전적인 sense-plan-act 파이프라인을 비교하며, 계층적 RL의 이점과 SPA의 취약성을 밝힌다.

ABSTRACT

We introduce Habitat 2.0 (H2.0), a simulation platform for training virtual robots in interactive 3D environments and complex physics-enabled scenarios. We make comprehensive contributions to all levels of the embodied AI stack - data, simulation, and benchmark tasks. Specifically, we present: (i) ReplicaCAD: an artist-authored, annotated, reconfigurable 3D dataset of apartments (matching real spaces) with articulated objects (e.g. cabinets and drawers that can open/close); (ii) H2.0: a high-performance physics-enabled 3D simulator with speeds exceeding 25,000 simulation steps per second (850x real-time) on an 8-GPU node, representing 100x speed-ups over prior work; and, (iii) Home Assistant Benchmark (HAB): a suite of common tasks for assistive robots (tidy the house, prepare groceries, set the table) that test a range of mobile manipulation capabilities. These large-scale engineering contributions allow us to systematically compare deep reinforcement learning (RL) at scale and classical sense-plan-act (SPA) pipelines in long-horizon structured tasks, with an emphasis on generalization to new objects, receptacles, and layouts. We find that (1) flat RL policies struggle on HAB compared to hierarchical ones; (2) a hierarchy with independent skills suffers from 'hand-off problems', and (3) SPA pipelines are more brittle than RL policies.

연구 동기 및 목표

• 재배치 태스크를 위한 가동 가능한 관절 객체가 있는 상호작용 가능하고 사진처럼 현실적인 가정 규모 환경을 만든다.
• 대규모 RL 및 SPA 실험을 가능하게 하는 고성능 물리 기반 시뮬레이터를 개발한다.
• 보이지 않는 객체, 용기, 레이아웃에 대한 일반화를 평가하기 위한 벤치마크(HAB)를 제공한다.
• 장기 시나리오에서 엔드-투-엔드 강화학습 정책과 고전적인 sense-plan-act 파이프라인을 체계적으로 비교한다.
• 향후 구현형 AI 연구를 이끄는 일반화, 센서 의존도, 모션-플래닝 통합을 분석한다.

제안 방법

• ReplicaCAD: 예술가가 제작한 관절 객체(예: 서랍, 냉장고)가 있는 아파트의 인터랙티브한 3D 데이터셋으로, 예술가의 노력이 900+ 시간에 달하며 실제 공간과 재배치 실험을 가능하게 하도록 설계되었다.
• Habitat 2.0: 로컬화된 물리, 렌더링/물리를 교차하는 인터리브(rendering/physics), 자산 재사용으로 최대 26,000 SPS를 8 GPU에서 달성하는 고성능 물리 기반 시뮬레이터로, 실시간 성능을 850배까지 가능하게 한다.
• Home Assistant Benchmark (HAB): 집 정리, 식료품 준비, 식탁 차리기 등의 태스크 모음으로, Fetch 모바일 매니퓰레이터가 초기 수납함에서 대상 용기까지 물체를 재배치하며 GeometricGoal 스타일의 명세를 가진다.
• 두 가지 실험 패러다임: 단일체 엔드-투-엔드 RL 정책과 고전적인 sense-plan-act (SPA) 파이프라인, 전체 씬 지식을 가진 특권 SPA 기준선을 포함한다.
• 학습된 정책과 고전적 계획 접근법 간의 공정한 비교를 가능하게 하기 위한 모션 플래닝용 OMPL과의 통합。

실험 결과

연구 질문

• RQ1 엔드-투-엔드 RL 정책은 장기-호라이즌 가정 재배치 태스크에 얼마나 잘 확장될 수 있는가?
• RQ2 계층적 RL 접근이 HAB 유사 태스크에서 단일 계층의 정책보다 성능이 우수한가?
• RQ3 보이지 않는 객체, 용기, 레이아웃에 대한 견고성 및 일반화 측면에서 SPA와 RL의 차이는 무엇인가?
• RQ4 새로운 객체, 용기, 아파트 구성에 직면했을 때 학습과 계획 접근법 모두의 일반화 한계는 무엇인가?
• RQ5 가정 규모의 조작 태스크에서 성능과 일반화에 영향을 미치는 센서 및 계획 요구사항은 무엇인가?

주요 결과

• 평면형 RL 정책은 다양한 기술을 학습할 수 있지만, 적절한 계층 없이는 긴 호라이즌 HAB 태스크에서 이를 연결하는 데 어려움을 겪는다.
• 완벽한 태스크 플래너를 갖춘 계층형 RL은 장기 성능을 향상시키지만 기술 간의 핸드오프 문제로 인해 손실이 발생할 수 있다.
• SPA 파이프라인은 복잡하고 혼잡한 환경에서 취약하며 특정 일반화 조건에서 계층적 학습 접근법에 의해 능가될 수 있다.
• 단일체 RL은 새로운 레이아웃에 비교적 잘 일반화되지만, 보이지 않는 객체와 용기에 대해서는 현저한 감소를 보이며 객체 수준 일반화의 문제점을 부각시킨다.
• SPA-Priv(특권 정보)는 SPA보다 개선되지만 unseen-receptacle 시나리오에서 학습 계층적 접근 방식 간의 격차를 여전히 완전히 없애지 못한다.