[논문 리뷰] Instance-Specific Image Goal Navigation: Training Embodied Agents to Find Object Instances

Jacob Krantz, Stefan Lee외 3명|arXiv (Cornell University)|2022. 11. 29.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 에이전트가 에이전트의 센서와 무관하게 임의의 시점과 카메라 설정에서 촬영한 목표 이미지를 사용하여 특정 물체 인스턴스로 이동하도록 요구하는 새로운 벤치마크인 Instance-Specific Image Goal Navigation (InstanceImageNav)를 소개한다. 이 작업은 HM3D 환경에서 고해상도, 고커버리지의 물체 인스턴스 이미지를 사용하며, 모델 프리 레이어드 강화학습 기반의 기본 성능는 뿐만 아니라 높은 도전성과 향후 연구의 필요성을 드러낸다.

ABSTRACT

We consider the problem of embodied visual navigation given an image-goal (ImageNav) where an agent is initialized in an unfamiliar environment and tasked with navigating to a location 'described' by an image. Unlike related navigation tasks, ImageNav does not have a standardized task definition which makes comparison across methods difficult. Further, existing formulations have two problematic properties; (1) image-goals are sampled from random locations which can lead to ambiguity (e.g., looking at walls), and (2) image-goals match the camera specification and embodiment of the agent; this rigidity is limiting when considering user-driven downstream applications. We present the Instance-specific ImageNav task (InstanceImageNav) to address these limitations. Specifically, the goal image is 'focused' on some particular object instance in the scene and is taken with camera parameters independent of the agent. We instantiate InstanceImageNav in the Habitat Simulator using scenes from the Habitat-Matterport3D dataset (HM3D) and release a standardized benchmark to measure community progress.

연구 동기 및 목표

• 기존의 ImageNav 벤치마크에서의 표준화 부족과 현실성 부족 문제를 해결하기 위해, 랜덤으로 샘플링된 모호한 이미지 목표를 사용하는 경향이 있는 문제를 해결한다.
• 이미지 목표를 에이전트의 센서와 몸체에 묶는 제한을 극복함으로써, 실세계 적용 가능성의 제약을 줄인다.
• 물체 인스턴스에 집중된 자연스럽고 맥락이 풍부한 시점의 목표 이미지를 통해 작업의 명확성과 적용 관련성을 향상시킨다.
• 공개 리더보드를 통해 공정한 평가와 커뮤니티의 진전을 가능하게 하는 표준화된 벤치마크를 확립한다.
• 학습 및 평가를 위한 700만 개의 트레이닝 에피소드와 2,340개의 검증 에피소드를 포함한 대규모 에피소드 데이터셋을 공개한다.

제안 방법

• 목표 이미지는 물체 인스턴스 주변의 레이디얼 시점에서 샘플링되며, 물체 커버리지 및 프레임 커버리지에 대한 임계값을 설정하여 명확하고 자연스러운 시점을 확보한다.
• 작업은 HM3D 세그멘테이션을 포함한 HM3D 환경에서 Habitat-Sim 환경을 사용하여 구현된다.
• 기본 자세는 거절 샘플링을 통해 샘플링되며, 유한한 지오데식 경로와 비트리비얼한 이동을 보장하며, 지오데식 거리와 유클리드 거리의 최소 비율이 1.05 이상이 되도록 한다.
• 모델 프리 강화학습 기반의 기본 성능는 PPO를 사용하여 학습되며, RGB, 깊이, 목표 이미지 특징을 위한 2스트림 ResNet-18 인코더, LSTM 기반 메모리 및 액션 헤드를 포함한다.
• RGB, 깊이, 목표 이미지, GPS, 헤딩의 특징가 결합되어 두 층의 LSTM을 거쳐 액션 예측이 이루어진다.
• 벤치마크는 최단 경로 길이, 지오데식 거리, 유효한 시점 등의 메타데이터를 포함하여 평가에 활용된다.

실험 결과

연구 질문

• RQ1 에이전트의 센서와 몸체에서 분리된 이미지 목표 사양 방식이 실세계 적용 가능성에 어떻게 기여하는가?
• RQ2 랜덤으로 샘플링된 이미지 목표에 비해 집중적이고 인스턴스 중심의 목표 이미지가 얼마나 모호성을 줄이는가?
• RQ3 현실적이고 비정형적인 환경에서 현재의 종단 간 강화학습 방법이 특정 인스턴스 기반 이미지 목표 이동에 대해 어느 정도의 성능 한계를 가지는가?
• RQ4 제안된 벤치마크가 다양한 이동 방법 간 공정하고 표준화된 평가를 어떻게 가능하게 하는가?
• RQ5 특정 인스턴스 기반 이미지 목표로 훈련된 정책이 새로운 환경으로 일반화하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 제안된 InstanceImageNav 벤치마크는 특정 물체 인스턴스에 집중된 목표 이미지를 사용하여, 랜덤으로 샘플링된 이미지 목표에 비해 모호성을 크게 감소시킨다.
• 목표 이미지는 에이전트의 센서와 독립적인 카메라 설정에서 촬영되어, 사용자 중심 응용 프로그램의 유연성과 현실성 향상에 기여한다.
• 벤치마크는 HM3D 세그멘테이션을 포함한 HM3D 환경에서 Habitat-Sim 환경을 사용하여 구현되어 현실적이고 다양한 이동 작업을 가능하게 한다.
• 모델 프리 강화학습 기반의 기본 성능는 검증 분할에서 5.5%의 성공률과 2.3%의 SPL을 기록하여 향후 개선 여지가 크다는 점을 시사한다.
• 트레이닝 분할에는 7,032,000개의 에피소드, 검증 분할에는 2,340개의 에피소드가 포함되어 있어 평가 및 연구에 적합한 대규모 데이터셋을 제공한다.
• EvalAI에 공개 리더보드를 제공할 예정이며, 이는 표준화된 평가를 가능하게 하고 특정 인스턴스 기반 시각적 이동 분야의 진전을 가속화할 것으로 기대된다.