[논문 리뷰] On Evaluation of Embodied Navigation Agents

Peter Anderson, Anne Lynn S. Chang외 9명|arXiv (Cornell University)|2018. 07. 18.

Robotic Path Planning Algorithms참고 문헌 28인용 수 503

한 줄 요약

합의 논문으로서 3D 환경에서 구현형 네비게이션에 대한 표준화된 작업 포맷, 평가 지표, 일반화 체계 및 표준 벤치마크를 제안하며, 주된 추천 지표로 SPL를 제시합니다.

ABSTRACT

Skillful mobile operation in three-dimensional environments is a primary topic of study in Artificial Intelligence. The past two years have seen a surge of creative work on navigation. This creative output has produced a plethora of sometimes incompatible task definitions and evaluation protocols. To coordinate ongoing and future research in this area, we have convened a working group to study empirical methodology in navigation research. The present document summarizes the consensus recommendations of this working group. We discuss different problem statements and the role of generalization, present evaluation measures, and provide standard scenarios that can be used for benchmarking.

연구 동기 및 목표

• 구현형 탐색에서 문제 진술과 목표 유형을 명확히 한다( PointGoal, ObjectGoal, AreaGoal ).
• 테스트 환경에 대한 사전 노출을 수량화한 엄격한 일반화 및 탐색 체계를 제안한다.
• 하나의 해석 가능한 주요 평가 지표(SPL)와 보조 보조 지표를 권장한다.
• 연속 공간 시뮬레이터, SI 단위 보고, 그리고 실제 로봇으로의 공개 소스 배포를 옹호한다.
• 재현 가능한 비교를 가능하게 하기 위해 다중 데이터셋에 걸친 표준 벤치마크 시나리오를 제공한다.

제안 방법

• 세 가지 목표 유형(PointGoal, ObjectGoal, AreaGoal)을 정의하고 사양 모달리티(좌표, 범주, 이미지, 언어)에 대해 논의한다.
• 사전 탐색이 없는 상태, 미리 기록된 탐색, 시간 제한 탐색 등 일반화 체계를 개요하고 평가 전에 노출을 수치화한다.
• SPL(Success weighted by Inverse Path Length)을 주요 네비게이션 지표로 도입하고, 목표 달성을 이해하기 위해 DONE 동작을 작업 완료로 지정한다.
• 시뮬레이터에서 연속 상태 공간과 SI 단위를 권장하고, 시뮬레이션과 실제 로봇 간의 연결을 위한 오픈 소스 도구를 강조한다.
• SUNCG, Matterport3D, AI2-THOR, Gibson에서 추출한 표준 시나리오를 train/validation/test 분할로 제공하여 재현 가능한 벤치마킹을 가능하게 한다.
• 더 완전한 성능 평가를 위해 SPL과 함께 보조 지표의 보고를 권장한다.

실험 결과

연구 질문

• RQ1 교차 연구 비교를 지원하는 구현형 탐색의 강건하고 일반적인 작업 정의는 무엇인가?
• RQ2 새롭거나 부분적으로 탐색된 환경에 대한 일반화는 어떻게 수치화하고 보고되어야 하는가?
• RQ3 다양한 장면에서 네비게이션 성능을 평가하기에 적합하고 해석 가능한 주요 지표는 무엇인가?
• RQ4 시뮬레이션 플랫폼은 실제 로봇으로의 전이를 용이하게 하도록 어떻게 설계되어야 하는가?
• RQ5 여러 실내 환경에서 재현 가능한 비교를 지원할 수 있는 표준 시나리오는 무엇인가?

주요 결과

• SPL은 주요하고 해석 가능한 내비게이션 성능 지표로 제안되며, DONE 동작과 목표까지의 측지 거리(Geodesic distance)에 기반한 이진 성공 신호를 가진다.
• 환경 구조를 반영하기 위해 목표까지의 근접도 평가에는 유클리드 거리 대신 측지 거리를 사용해야 한다.
• 에피소드를 성공으로 간주하려면 DONE 동작이 생성되어야 하며, 에이전트가 목표 완료를 이해하도록 한다.
• 시뮬레이션 기반 벤치마크는 현실성 및 상호 운용성 향상을 위해 연속 상태 공간과 SI 단위를 사용해야 하며, 실제 로봇으로의 이식을 촉진하기 위한 오픈 소스 배포 도구를 권장한다.
• SUNCG, Matterport3D, AI2-THOR, Gibson에 걸친 표준 시나리오가 train/validation/test 분할로 제공되어 재현 가능한 비교를 가능하게 한다.