[논문 리뷰] Rearrangement: A Challenge for Embodied AI

Dhruv Batra, Anne Lynn S. Chang외 10명|arXiv (Cornell University)|2020. 11. 03.

Robot Manipulation and Learning참고 문헌 65인용 수 101

한 줄 요약

본 논문은 재배치를 Embodied AI의 정형 작업으로 제안하고, 형식적 프레임워크를 정의하며, 플랫폼 간 평가를 표준화하기 위해 네 가지 시뮬레이션 테스트베드를 제공한다.

ABSTRACT

We describe a framework for research and evaluation in Embodied AI. Our proposal is based on a canonical task: Rearrangement. A standard task can focus the development of new techniques and serve as a source of trained models that can be transferred to other settings. In the rearrangement task, the goal is to bring a given physical environment into a specified state. The goal state can be specified by object poses, by images, by a description in language, or by letting the agent experience the environment in the goal state. We characterize rearrangement scenarios along different axes and describe metrics for benchmarking rearrangement performance. To facilitate research and exploration, we present experimental testbeds of rearrangement scenarios in four different simulation environments. We anticipate that other datasets will be released and new simulation platforms will be built to support training of rearrangement agents and their deployment on physical systems.

연구 동기 및 목표

• 재배치를 Embodied AI 연구를 통합하기 위한 표준화되고 정형화된 과제로 제안한다.
• 기하학적, 이미지, 언어, 경험, 술어를 포함한 다양한 목표 명세를 다루는 엔드-투-엔드 평가 프로토콜을 정의한다.
• 구현, 지각, 조작 축 전반에 걸친 재배치를 특징화한다.
• 다양한 시뮬레이션 환경에서 실험적 테스트베드를 제공하여 교차 플랫폼 연구와 모델 전이를 촉진한다.
• 평가 및 배치에서 강한 일반화와 현실적인 센싱을 장려한다.

제안 방법

• 강체 및 관절 객체에 대해 POMDP 유사 프레임워크 내에서 재배치를 형식화한다.
• GeometricGoal, ImageGoal, LanguageGoal, ExperienceGoal, PredicateGoal 등의 목표 명세 메커니즘을 설명한다.
• 추상 매직 포인터에서 전체 물리 시뮬레이션 및 센서 모달리티에 이르는 구현 옵션을 조사한다.
• 에피소드를 0–1 스케일로 점수화하고 엔드 투 엔드 지각-동작 파이프라인을 강조하는 평가를 제안한다.
• THOR, RLBench, SAPIEN, Habitat의 재배치 시나리오를 공개하여 교차 플랫폼 실험을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구현 맥락에서 재배치의 일반적이고 엔드-투-엔드 정의는 무엇인가?
• RQ2 다양한 목표 명세를 하나의 평가 프로토콜로 어떻게 통합할 수 있는가?
• RQ3 구현 방식과 센서 선택이 재배치 성능 및 구현 AI로의 진전에 어떻게 영향을 미치는가?
• RQ4 교차 플랫폼 비교 및 물리적 시스템으로의 전이를 가능하게 하는 효과적인 테스트베드와 벤치마크는 무엇인가?
• RQ5 재배치 작업에서 일반화를 어떻게 정의하고 측정해야 하는가?

주요 결과

• 재배치는 부분 관찰하에서 초기 상태에서 목표 상태로 환경을 변형하는 것으로, 에피소드 보상은 0–1로 점수화된다.
• 프레임워크는 기하학적, 시각적, 언어, 경험, 술어를 포함한 다중 목표 명세를 수용한다.
• 네 가지 벤치마크 시뮬레이터가 공개되었다(THOR, RLBench, SAPIEN, Habitat)으로 플랫폼 간 엔드-투-엔드 평가를 지원한다.
• 추상 포인터에서 전체 물리 시뮬레이션에 이르는 구현 선택의 스펙트럼을 논의하고 언제 각 선택을 사용할지에 대한 지침을 제공한다.
• 저자들은 강한 일반화를 옹호하며, 보편적 정보 없이 현실적인 센싱으로 보지 않은 물체와 환경에서 에이전트를 평가한다.