[논문 리뷰] CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation

Samir Yitzhak Gadre, Mitchell Wortsman외 3명|arXiv (Cornell University)|2022. 03. 20.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 피팅 없이도 개방형 어휘 CLIP 모델을 활용해 객체 국소화를 수행하는 zero-shot 언어 주도 탐색 프레임워크인 CoW (CLIP on Wheels)를 소개한다. 비정상적이고 특성 기반, 숨겨진 객체를 대상으로 평가할 수 있는 Pasture 벤치마크를 제안하며, 트레이닝 없이도 RoboTHOR에서 최신 ZSON 방법과 동등한 탐색 효율성을 보이며 성공률을 15.6%p 향상시킨다.

ABSTRACT

For robots to be generally useful, they must be able to find arbitrary objects described by people (i.e., be language-driven) even without expensive navigation training on in-domain data (i.e., perform zero-shot inference). We explore these capabilities in a unified setting: language-driven zero-shot object navigation (L-ZSON). Inspired by the recent success of open-vocabulary models for image classification, we investigate a straightforward framework, CLIP on Wheels (CoW), to adapt open-vocabulary models to this task without fine-tuning. To better evaluate L-ZSON, we introduce the Pasture benchmark, which considers finding uncommon objects, objects described by spatial and appearance attributes, and hidden objects described relative to visible objects. We conduct an in-depth empirical study by directly deploying 21 CoW baselines across Habitat, RoboTHOR, and Pasture. In total, we evaluate over 90k navigation episodes and find that (1) CoW baselines often struggle to leverage language descriptions, but are proficient at finding uncommon objects. (2) A simple CoW, with CLIP-based object localization and classical exploration -- and no additional training -- matches the navigation efficiency of a state-of-the-art ZSON method trained for 500M steps on Habitat MP3D data. This same CoW provides a 15.6 percentage point improvement in success over a state-of-the-art RoboTHOR ZSON model.

연구 동기 및 목표

• 목표 환경나 객체에 대해 특수한 트레이닝 없이 언어 주도 zero-shot 객체 탐색(L-ZSON)을 가능하게 하기 위해.
• CLIP와 같은 개방형 어휘 모델이 다양한 분포를 벗어난 언어 기술을 가진 실제 몸체 탐색 작업에서 어떻게 작동하는지 평가하기 위해.
• 기존 벤치마크에서 다루지 않는 비정상적, 특성 기반, 숨겨진 객체를 대상으로 한 탐색을 테스트하는 새로운 벤치마크인 Pasture를 설계하기 위해.
• 피팅 없이 CLIP 기반 인식과 전통적 탐색 전략을 조합해 강력한 zero-shot 백본을 수립하기 위해.
• 개방형 어휘 모델이 자연어를 어떻게 활용해 탐색에 활용할 수 있는지 경험적으로 평가하기 위해.

제안 방법

• CoW는 이미지 특징과 텍스트 기술 간의 유사도 점수를 계산해 시각-언어 기반 국소화를 수행함으로써 CLIP를 시각-언어 기반 국소화에 적응시킨다.
• 두 단계 전략을 사용한다: 언어 기술이 높은 신뢰도의 국소화를 제공할 경우 목표 중심 계획, 그 외의 경우 기존 탐색 전략을 사용한다.
• ViT-B/32 백본을 사용하는 CLIP 기반 시각 인코더를 활용하고, 국소화 점수를 개선하기 위해 후처리를 적용한다.
• 다양한 프롬프팅 전략, 탐색 정책, 백본 아키텍처를 고려해 CoW의 21가지 변형을 평가한다.
• Pasture 벤치마크는 12개의 객체 카테고리로 구성되며, 세 가지 평가 모드를 포함한다: 비정상적 객체, 공간/외관 특성, 숨겨진 객체.
• Habitat, RoboTHOR, Pasture에서 평가가 수행되었으며, 총 90,000개 이상의 탐색 에피소드가 포함되어 있다.

실험 결과

연구 질문

• RQ1 피팅 없이도 CLIP와 같은 개방형 어휘 모델이 zero-shot 언어 주도 객체 탐색에 효과적으로 활용될 수 있는가?
• RQ2 CLIP 기반 모델은 학습 중에 볼 수 없었던 비정상적, 특성 기반, 숨겨진 객체에 대해 얼마나 잘 일반화되는가?
• RQ3 zero-shot CoW 백본과 지도 학습 기반 최신 ZSON 방법 간의 탐색 효율성과 성공률 격차는 얼마나 되는가?
• RQ4 복잡하고 갈등 물건이 많은 환경에서 비전-언어 모델이 언어 기술을 얼마나 효과적으로 활용할 수 있는가?
• RQ5 다양한 프롬프팅, 백본, 후처리 전략이 CoW의 탐색 성능에 어떤 영향을 미치는가?

주요 결과

• CLIP 기반 국소화와 전통적 탐색 전략을 조합한 단순한 CoW 백본이, Habitat MP3D에서 5억 번 이상의 학습 스텝을 거친 최신 ZSON 방법과 동등한 탐색 효율성(SPL)을 달성한다.
• 동일한 CoW 백본이 선도적인 RoboTHOR ZSON 모델보다 성공률을 15.6%p 향상시켜 강력한 zero-shot 일반화 능력을 입증한다.
• CoW 백본은 비정상적 객체(예: Pasture에서 '화이트보드'의 경우 63.3% 성공률)에서도 뛰어난 성능을 보이며, 분포를 벗어난 카테고리에 대해 강건함을 보인다.
• 갈등 물건이 존재할 경우 성능이 크게 떨어지며(예: '머그'의 경우 갈등 물건 유무에 따라 각각 20.0% vs. 33.3% 성공률), 특성 기반 기술을 효과적으로 활용하지 못함을 보여준다.
• 특성 기반 클래스를 재맵핑할 경우 성공률이 낮아지며, 이는 세부적인 언어 이해 능력에 한계가 있음을 시사한다.
• CLIP-Patch와 CLIP-Grad.는 OWL보다 더 높은 객체 국소화 실패 비율을 보이며, 이는 프롬프팅 기법과 적응 방법이 신뢰성에 영향을 미친다는 것을 보여준다.