[논문 리뷰] Bridging Zero-shot Object Navigation and Foundation Models through Pixel-Guided Navigation Skill

Wenzhe Cai, Siyuan Huang외 5명|arXiv (Cornell University)|2023. 09. 19.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 기초 모델과 제로샷 객체 탐색을 연결하기 위해 픽셀을 목표 사양으로 사용하는 순수 RGB 기반 탐색 정책인 PixNav를 제안한다. 이는 다양한, 저비용이며 일반화 가능한 로봇 탐색을 가능하게 한다. PixNav는 국소 경로 계획에서 80% 이상의 성공률를 달성하며, LLM 기반 계획자와 조합할 경우 지도 기반 계획이나 깊이 감지 없이 시뮬레이션 및 실제 환경 모두에서 효과적인 장거리 탐색을 가능하게 한다.

ABSTRACT

Zero-shot object navigation is a challenging task for home-assistance robots. This task emphasizes visual grounding, commonsense inference and locomotion abilities, where the first two are inherent in foundation models. But for the locomotion part, most works still depend on map-based planning approaches. The gap between RGB space and map space makes it difficult to directly transfer the knowledge from foundation models to navigation tasks. In this work, we propose a Pixel-guided Navigation skill (PixNav), which bridges the gap between the foundation models and the embodied navigation task. It is straightforward for recent foundation models to indicate an object by pixels, and with pixels as the goal specification, our method becomes a versatile navigation policy towards all different kinds of objects. Besides, our PixNav is a pure RGB-based policy that can reduce the cost of home-assistance robots. Experiments demonstrate the robustness of the PixNav which achieves 80+% success rate in the local path-planning task. To perform long-horizon object navigation, we design an LLM-based planner to utilize the commonsense knowledge between objects and rooms to select the best waypoint. Evaluations across both photorealistic indoor simulators and real-world environments validate the effectiveness of our proposed navigation strategy. Code and video demos are available at https://github.com/wzcai99/Pixel-Navigator.

연구 동기 및 목표

• 지도 기반 계획이나 깊이 감지가 필요 없도록 기초 모델과 몸체 기반 탐색을 통합하는 데 도전하는 것.
• 명시적인 의미적 애너테이션 없이 다양한 물체에 일반화되는 유일한 RGB 기반 탐색 정책을 개발하는 것.
• 공감각 지식을 활용한 단계별 프롬프트 템플릿을 갖춘 대규모 언어 모델(LLM) 계획자와 함께 계층적 정책을 사용해 예측 불가능한 환경에서의 장거리 탐색을 가능하게 하는 것.
• 물체 수준의 애너테이션 대신 픽셀 수준의 지도를 활용하여 데이터 수집 비용을 줄이는 것.
• 다양한 카메라 설정과 실제 환경 구현에서 탐색 정책의 강인함을 검증하는 것.

제안 방법

• 어떤 물체 픽셀이라도 목표로 간주하는 픽셀 가이드 탐색 정책(PixNav)을 제안하여 예측 불가능한 물체로의 제로샷 일반화를 가능하게 한다.
• 사전 구현된 3D 좌표 추정을 사용하여 픽셀 목표를 3D 웨이포인트로 변환하고, 점 목표 탐색을 통해 데이터셋 수집을 수행한다.
• 장거리 탐색 안정성을 향상시키기 위해 추적 예측, 시간적 거리 예측 및 목표 융합을 포함한 트랜스포머 기반 정책 네트워크를 설계한다.
• 일상 지식을 활용해 방 간 계획을 수행하기 위해 대규모 언어 모델(LLM)과 단계별 프롬프트 템플릿을 통합한다.
• 명시적인 물체 레이블 없이 다양한 물체 영역에서 수집한 대규모 픽셀 애너테이션 경로를 기반으로 PixNav 정책을 엔드 투 엔드로 훈련한다.
• 표준 RGB 카메라에서의 RGB 관측만을 사용하여 시뮬레이션에서 실제 환경으로의 전이를 가능하게 하며, 깊이 또는 위치 기반 의존성을 피한다.

실험 결과

연구 질문

• RQ1 순수 RGB 기반 탐색 정책이 다양한 물체와 카메라 설정에서 높은 일반화성과 강인함을 달성할 수 있는가?
• RQ2 지도 기반 계획 없이 픽셀 수준의 목표 사양이 기초 모델과 몸체 기반 탐색을 효과적으로 연결할 수 있는가?
• RQ3 구조화된 프롬프트를 사용하는 LLM 기반 계획자가 예측 불가능한 환경에서 효과적인 장거리 탐색을 가능하게 하는가?
• RQ4 카메라 높이와 시야각의 분포 변화에 대해 PixNav 정책은 어떻게 성능을 유지하는가?
• RQ5 장거리 탐색(3–5m)에서 성능을 유지하는 데 가장 중요한 구성 요소는 무엇인가?
• RQ6 LLM의 공간 추론 능력은 방 위치 특정 및 환경 맵핑에 얼마나 확장되는가?

주요 결과

• HM3D 시뮬레이터에서 1–3m 탐색 작업에서 PixNav는 88%의 성공률(SR)과 88%의 SPL을 달성하여 강력한 국소 경로 계획 성능를 입증한다.
• 정책은 카메라 설정 간 일반화가 가능하여 카메라 높이 50% 변화 및 수평 시야각(HFOV) 25% 변화 조건에서도 70% 이상의 성공률를 유지한다.
• 제거 분석 결과 추적 예측과 목표 융합이 장거리 탐색(3–5m)에 핵심적임을 입증하며, 성공률(SR)을 0.34에서 0.42로 향상시킨다.
• LLM 계획자는 방 위치 특정에서 68.4%의 정확도, 방 군집화에서 47.1%의 정확도를 기록하여 측정 가능한 공간 추론 능력을 보여준다.
• iRobot Create3 로봇에서 표준 RGB 입력만을 사용하여 실제 환경 구현에 성공적으로 전이되었으며, 시뮬레이션에서 실제 환경으로의 일반화를 검증한다.
• 의미적 애너테이션의 필요성을 제거함으로써 데이터 수집 비용을 줄였으며, 픽셀 수준의 지도를 활용한 대규모 경로 생성이 가능해졌다.