[논문 리뷰] ZSON: Zero-Shot Object-Goal Navigation using Multimodal Goal Embeddings

Arjun Majumdar, Gunjan Aggarwal외 3명|arXiv (Cornell University)|2022. 06. 24.

Multimodal Machine Learning Applications인용 수 41

한 줄 요약

논문은 ZSON을 제시합니다. 제로샷, 오픈월드 ObjectNav 방법으로 이미지 목표를 임베딩하고 언어를 CLIP 기반의 공유 공간에 학습시켜 시멘틱 목표 탐색을 수행합니다. 이 방법은 ImageNav에서 학습되고 Gibson, HM3D, MP3D에서 평가됩니다.

ABSTRACT

We present a scalable approach for learning open-world object-goal navigation (ObjectNav) -- the task of asking a virtual robot (agent) to find any instance of an object in an unexplored environment (e.g., "find a sink"). Our approach is entirely zero-shot -- i.e., it does not require ObjectNav rewards or demonstrations of any kind. Instead, we train on the image-goal navigation (ImageNav) task, in which agents find the location where a picture (i.e., goal image) was captured. Specifically, we encode goal images into a multimodal, semantic embedding space to enable training semantic-goal navigation (SemanticNav) agents at scale in unannotated 3D environments (e.g., HM3D). After training, SemanticNav agents can be instructed to find objects described in free-form natural language (e.g., "sink", "bathroom sink", etc.) by projecting language goals into the same multimodal, semantic embedding space. As a result, our approach enables open-world ObjectNav. We extensively evaluate our agents on three ObjectNav datasets (Gibson, HM3D, and MP3D) and observe absolute improvements in success of 4.2% - 20.0% over existing zero-shot methods. For reference, these gains are similar or better than the 5% improvement in success between the Habitat 2020 and 2021 ObjectNav challenge winners. In an open-world setting, we discover that our agents can generalize to compound instructions with a room explicitly mentioned (e.g., "Find a kitchen sink") and when the target room can be inferred (e.g., "Find a sink and a stove").

연구 동기 및 목표

• Reward나 시범 없이 오픈월드 ObjectNav을 해결한다.
• 이미지-기반 목표와 텍스트 기반 목표를 통합하기 위해 다중 모달 CLIP 임베딩을 활용한다.
• 주석이 없는 3D 환경에서 이미지-목표 탐색을 통해 확장 가능한 SemanticNav 에이전트를 학습한다.
• 'Sink'와 같은 언어로 설명된 객체 목표에 대해 제로샷으로 전이되었음을 시연한다.
• 제로샷 성능 및 일반화에 영향을 주는 요인을 분석한다.

제안 방법

• CLIP을 사용하여 이미지-목표와 텍스트-목표를 공통 시맨틱 임베딩 공간에 매핑한다(CLIP_v는 이미지용, CLIP_t는 텍스트용).
• ResNet-50 시각 인코더와 LSTM 기반 정책을 가진 HM3D에서 주석이 없는 환경에서 이미지-목표 탐색(ImageNav)을 학습하고 DD-PPO 및 목표 달성 및 목표 지향 방향 탐색을 장려하는 보상을 사용한다.
• 배포 시 언어 객체 목표를 CLIP_t로 인코딩하고 이미지-목표 임베딩과 동일한 시맨틱 공간에 매칭하여 ObjectNav를 평가한다.
• RL 학습 중 데이터 증강(컬러 재잡이, 임의 변환)을 사용한다.
• 제로샷 ObjectNav 성능에 대한 시각 인코더 프리트레이닝(OVRL) 및 학습 환경 다양성의 영향을 조사한다.

실험 결과

연구 질문

• RQ1 이미지-목표로부터 학습된 시맨틱 목표 탐색 정책으로 제로샷 설정에서 오픈월드 ObjectNav을 달성할 수 있는가?
• RQ2 CLIP 기반 정렬이 이미지-목표에서 언어로 설명된 객체 목표로의 효과적 전달을 가능하게 하는가?
• RQ3 시각 인코더의 프리트레이닝과 훈련 환경의 다양성/수는 제로샷 ObjectNav 성능에 어떤 영향을 미치는가?
• RQ4 에이전트가 방 인지 인지를 포함한 복합 또는 방별 지시가 주어졌을 때 방 인식에 입각한 탐색을 보이는가?
• RQ5 다양한 실내 환경에서 제로샷 SemanticNav의 한계와 편향은 무엇인가?

주요 결과

• 제로샷 ObjectNav의 이점: Gibson SR 31.3% (HM3D 25.5% SPL 12.6%), MP3D SR 15.3%.
• ImageNav 프리트레이닝이 제로샷 ObjectNav를 SR에서 약 9.4%–10.4% 향상시키고, 더 넓은 프리트레이닝과 더 많은 환경이 주목할 만한 이득을 가져다줌(HM3D SR 25.5%, MP3D SR 15.3%).
• 이전 제로샷 방법과 비교할 때 ZSON은 Gibson ImageNav SR를 36.9%(29.2%에서), ObjectNav SR를 31.3%(11.3%에서) 향상시킴.
• HM3D에서 제로샷 SPL은 ObjectNav 학습 데이터 없이도 최첨단 감독 방법(OVRL)과 동등한 성능을 보임.
• 정성적 결과는 방 인식 능력을 보여줌: 에이전트가 지시된 대로 '욕실 싱크대'로 이동하고 부엌은 피하며, 복합 목표에 대한 방 추론 능력을 보임.
• 800개 HM3D 환경에서 학습하면 Gibson-만 학습 대비 제로샷 ObjectNav SR이 절대적으로 6.6% 향상되어 큰 이득을 보이나 이미지-목표 SR은 소폭 감소.