[논문 리뷰] ObjectNav Revisited: On Evaluation of Embodied Agents Navigating to Objects

Dhruv Batra, Aaron Gokaslan외 6명|arXiv (Cornell University)|2020. 06. 23.

Multimodal Machine Learning Applications참고 문헌 18인용 수 129

한 줄 요약

이 논문은 ObjectNav 평가, 구현 및 환경에 대한 합의 권고를 제공하고 Habitat 및 RoboTHOR 2020 챌린지에서의 구현을 상세히 설명한다.

ABSTRACT

We revisit the problem of Object-Goal Navigation (ObjectNav). In its simplest form, ObjectNav is defined as the task of navigating to an object, specified by its label, in an unexplored environment. In particular, the agent is initialized at a random location and pose in an environment and asked to find an instance of an object category, e.g., find a chair, by navigating to it. As the community begins to show increased interest in semantic goal specification for navigation tasks, a number of different often-inconsistent interpretations of this task are emerging. This document summarizes the consensus recommendations of this working group on ObjectNav. In particular, we make recommendations on subtle but important details of evaluation criteria (for measuring success when navigating towards a target object), the agent's embodiment parameters, and the characteristics of the environments within which the task is carried out. Finally, we provide a detailed description of the instantiation of these recommendations in challenges organized at the Embodied AI workshop at CVPR 2020 http://embodied-ai.org .

연구 동기 및 목표

• ObjectNav(대상 물체로의 탐색)에 대한 정밀 평가 기준을 정의하여 접근 방법 간 공정한 비교를 가능하게 한다.
• ObjectNav에서 사용되는 에이전트 구현(동작, 관찰)과 환경 특성을 명확히 한다.
• 현실적인 설정에서 ObjectNav를 벤치마크하기 위한 적합한 데이터셋, 3D 환경 및 플랫폼을 권고한다.
• 챌린지에서 사용된 구현을 상세히 기술함으로써 ObjectNav 연구의 일관성 있고 체계적인 벤치마킹을 촉진한다.

제안 방법

• Object Finding과 Evaluation, Embodiment, Environment를 포함한 구조화된 ObjectNav 작업 정의를 제안한다.
• ObjectNav의 성공 기준(Intentionality, Validity, Proximity, Visibility) 및 알려진 이슈를 논의하는 ObjectNav-SPL 지표를 정의한다.
• 조작을 이산화한 동작과 현실적인 센서를 갖춘 구현 설계를 권장하되, 계획의 난이도를 보존하기 위해 전체 로봇 역학은 피한다.
• 대형의 포토리얼리스틱 3D 스캔(Matterport3D, Gibson, AI2-THOR/RoboTHOR)과 물체-클래스 기반 목표(예: 의자, 테이블)의 사용을 권고한다.
• Habitat 2020 및 RoboTHOR 2020 챌린지에서 이러한 권고를 구현하는 방법을 에이전트 사양, 센서 세트 및 단계 구조를 포함하여 설명한다.

실험 결과

연구 질문

• RQ1 다양한 구현과 환경에 걸쳐 ObjectNav에 대한 강건하고 공정한 평가 프로토콜은 무엇인가?
• RQ2 대상에 도달하는 실제 내비게이션 능력을 반영하도록 ObjectNav의 성공을 어떻게 정의해야 하는가?
• RQ3 ObjectNav에서 현실성과 연구 벤치마킹의 수월함 사이의 균형을 가장 잘 맞추는 구현 및 관측 구성이 무엇인가?
• RQ4 어떤 환경과 물체 클래스가 현실적이고 이전 가능한 벤치마크를 ObjectNav 연구에 제공하는가?
• RQ5 Habitat와 RoboTHOR 챌린지가 이러한 권고를 일관된 벤치마킹을 위해 어떻게 운영화할 수 있는가?

주요 결과

• 정해진 성공 영역 내에서 Intentionality, Validity, Proximity, Visibility의 다중 기준 성공 정의를 제안한다.
• SPL의 한계: 차등화되지 않는 실패, 높은 분산, 회전에 대한 패널티 없음, 데이터셋 간 비교 문제를 강조하며 미래의 새로운 지표를 요구한다.
• 이산화된 동작 공간과 현실적인 센서(RGB-D, GPS+Compass)를 권장하되 전체 로봇 다이나믹스는 피한다.
• 포토리얼리스틱 3D 스캔(Matterport3D, Gibson, AI2-THOR/RoboTHOR)을 객체 클래스 목표와 다양한 실내 환경과 함께 사용하는 것을 권고한다.
• Habitat 2020의 구체적인 구현 예시(장면/물체 선택, 에이전트 사양, 챌린지 단계)와 RoboTHOR 2020의 시뮬레이션-현실 연계 설정, 단계 및 평가 기준을 제공한다.
• 시뮬레이션에서의 알려진 충돌 다이나믹스 문제(미끄러짐)와 해결책(미끄러짐 비활성화)을 문서화하여 '속임수'를 방지한다.