[논문 리뷰] BEVBert: Multimodal Map Pre-training for Language-guided Navigation

Dong An, Yuankai Qi외 5명|arXiv (Cornell University)|2022. 12. 08.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 시각-언어 탐색을 위한 새로운 지도 기반 사전 훈련 프레임워크인 BEVBert를 제안한다. 이는 국소적 거리 지도와 전역적 위상 지도를 융합한 하이브리드 지도를 사용하여 공간 인식 능력이 향상된 다중 모odal 추론을 가능하게 한다. 오프라인으로 생성된 하이브리드 지도와 지도 예측 프록시 작업을 활용하여 BEVBert는 R2R, R2R-CE, RxR, REVERIE 등 네 가지 VLN 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성했으며, R2R 테스트- unseen 분할에서 73%의 성공률을 기록했다.

ABSTRACT

Large-scale pre-training has shown promising results on the vision-and-language navigation (VLN) task. However, most existing pre-training methods employ discrete panoramas to learn visual-textual associations. This requires the model to implicitly correlate incomplete, duplicate observations within the panoramas, which may impair an agent's spatial understanding. Thus, we propose a new map-based pre-training paradigm that is spatial-aware for use in VLN. Concretely, we build a local metric map to explicitly aggregate incomplete observations and remove duplicates, while modeling navigation dependency in a global topological map. This hybrid design can balance the demand of VLN for both short-term reasoning and long-term planning. Then, based on the hybrid map, we devise a pre-training framework to learn a multimodal map representation, which enhances spatial-aware cross-modal reasoning thereby facilitating the language-guided navigation goal. Extensive experiments demonstrate the effectiveness of the map-based pre-training route for VLN, and the proposed method achieves state-of-the-art on four VLN benchmarks.

연구 동기 및 목표

• 기존 VLN 사전 훈련 방법이 이질적이고 중복된 시각 관측을 유발하는 이산적 풍경 사진에 의존하는 한계를 해결하기 위해.
• 국소적 거리 지도와 전역적 위상 지도를 융합한 하이브리드 지도 표현을 도입하여 언어 유도 탐색의 공간 인식 능력을 향상시키기 위해.
• 새로운 지도 기반 사전 훈련 철학을 통해 언어 지시어와 시각적 환경 간의 다중 모달 정렬을 향상시키기 위해.
• 지도 예측 프록시 작업을 통해 관측되지 않은 영역을 예측함으로써 탐색 의사결정의 불확실성을 줄이기 위해.

제안 방법

• 대규모 VLN 시각 경로에서 오프라인으로 하이브리드 지도를 생성하여 국소적 거리 지도로 세밀한 공간 인식을 수행하고 전역적 위상 지도로 장기 계획을 가능하게 한다.
• 다중 모달 지도 표현을 학습하기 위해 지도-지시어 상호작용을 수행하는 크로스 모달 트랜스포머를 사용한다.
• 언어적 및 공간적 사전 지식을 인코딩하여 관측되지 않은 영역을 예측하는 프록시 작업을 도입함으로써 의사결정 불확실성을 감소시킨다.
• 향상된 탐색 정책을 위해 온라인으로 생성된 하이브리드 지도를 사용하여 모델을 미세조정한다.
• 위상-거리 SLAM에 영감을 받은 하이브리드 설계를 채택하였지만, 더 나은 일반화를 위해 학습 가능한 다중 모달 표현을 사용한다.
• 대규모 데이터에서의 사전 훈련을 통해 미지 환경에서의 제로샷 일반화 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적 거리 지도와 전역적 위상 지도를 융합한 하이브리드 지도 표현이 시각-언어 탐색에서 공간 인식 능력을 향상시키는가?
• RQ2 관측되지 않은 영역을 예측하는 프록시 작업을 포함한 지도 기반 사전 훈련이 다중 모달 정렬을 향상시키고 탐색 불확실성을 감소시키는가?
• RQ3 제안된 BEVBert 프레임워크는 미지 환경으로 일반화되어 기존 사전 훈련 방법을 초월할 수 있는가?
• RQ4 공간 인식 지도를 사용하는 것과 이산적 풍경 기반 사전 훈련 방식을 비교했을 때 탐색 성공률과 강인성 측면에서 어떤 차이가 있는가?
• RQ5 지도 예측 프록시 작업이 VLN의 장기 계획 및 단기 추론 능력 향상에 어느 정도 기여하는가?

주요 결과

• BEVBert는 R2R 테스트- unseen 분할에서 73%의 성공률을 기록하여 HAMT(60%) 및 AirBert(59%)와 같은 이전 방법들을 압도적으로 뛰어넘었다.
• R2R-CE 벤치마크에서 BEVBert는 테스트- unseen 분할에서 59%의 성공률을 기록하여 이전 최신 기술 수준 방법들보다 뚜렷한 격차를 확보했다.
• RxR 데이터셋에서 BEVBert는 54.2%의 SDTW 성능을 기록하여 미지 환경으로의 제로샷 일반화 능력이 뛰어나다는 것을 입증했다.
• REVERIE 벤치마크에서 BEVBert는 52.81%의 SR과 36.41%의 SPL 성능을 기록하여 언어 표현 이해 및 탐색 능력이 뛰어나다는 것을 보여주었다.
• 제거 분석 결과, 지도 예측 프록시 작업이 특히 장거리 탐색 시나리오에서 성능 향상에 뚜렷한 기여를 한다는 것이 확인되었다.
• R2R에서의 정성적 분석 결과, BEVBert는 미지 환경에서의 '조기 실종' 및 '모호성'으로 인한 실패 케이스를 줄였다.