[논문 리뷰] The Road to Know-Where: An Object-and-Room Informed Sequential BERT for Indoor Vision-Language Navigation

Yuankai Qi, Zizheng Pan외 4명|arXiv (Cornell University)|2021. 04. 09.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 시각-언어 탐색 입력을 개체 수준와 단어 수준에서 인코딩하여 미세한 수준의 시각-언어 정렬을 가능하게 하고, 시간적 맥락, 상대 방향, 실내 공간 유형 예측을 통합한 순차적 BERT 모델인 ORIST를 제안한다. 이는 에이전트가 객체와 목표가 공간에서 어디에 있는지 '알고 있는' 능력을 갖추게 하여 REVERIE(18.97 SPL), NDH(3.17 GP), R2R(52% SPL) 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Vision-and-Language Navigation (VLN) requires an agent to find a path to a remote location on the basis of natural-language instructions and a set of photo-realistic panoramas. Most existing methods take the words in the instructions and the discrete views of each panorama as the minimal unit of encoding. However, this requires a model to match different nouns (e.g., TV, table) against the same input view feature. In this work, we propose an object-informed sequential BERT to encode visual perceptions and linguistic instructions at the same fine-grained level, namely objects and words. Our sequential BERT also enables the visual-textual clues to be interpreted in light of the temporal context, which is crucial to multi-round VLN tasks. Additionally, we enable the model to identify the relative direction (e.g., left/right/front/back) of each navigable location and the room type (e.g., bedroom, kitchen) of its current and final navigation goal, as such information is widely mentioned in instructions implying the desired next and final locations. We thus enable the model to know-where the objects lie in the images, and to know-where they stand in the scene. Extensive experiments demonstrate the effectiveness compared against several state-of-the-art methods on three indoor VLN tasks: REVERIE, NDH, and R2R. Project repository: https://github.com/YuankaiQi/ORIST

연구 동기 및 목표

• 기존 VLN 방법들이 언어와 시각을 근본적으로 이산적인 수준(예: 전체 파ano라마 뷰와 단어)에서 인코딩하는 데서 기인하는 한계를 해결하기 위해, 언어 기반 랜드마크와 시각적 실체 간의 정교한 정렬을 어렵게 만드는 문제를 해결한다.
• 순차적 BERT 아키텍처를 통해 탐색 결정 과정에서 시간적 맥락을 모델링하여, 새로운 환경에서의 일반화 능력을 향상시킨다.
• 상대 방향(좌/우/앞/뒤)과 실내 공간 유형(예: 주방, 침실)을 보조 신호로 명시적으로 예측하여 탐색 정확도를 향상시킨다.
• 비시각적 언어적 단서와 공간적 추론을 통합하여 에이전트가 장면 내 객체가 어디에 있는지 '알고 있는지', 그리고 어디로 가야 하는지 '알고 있는지'를 가능하게 한다.

제안 방법

• 모델은 개체 수준의 초기 임베딩 모듈을 사용하여 개체 제안에서 시각적 특징을 추출하고, 지시문의 해당 단어와 정렬한다.
• 순차적 BERT 인코더는 시각적 토큰과 텍스트 토큰을 공동으로 이원적으로 처리하여, 단계 간의 교차 모odal 어텐션과 맥락 인식 표현 학습을 가능하게 한다.
• 다중 작업 헤드는 각 가용 가능한 시점으로의 상대 방향, 다음 위치의 실내 공간 유형, 최종 목표의 실내 공간 유형을 예측하며, 각각 전용 손실 함수를 적용한다.
• 모델는 언어 모델링 손실, 방향 손실 ℒᴰ, 그리고 두 가지 실내 공간 유형 손실(다음 실내 공간 유형 ℒᴿₙ, 목표 실내 공간 유형 ℒᴿ_g)의 조합으로 훈련된다.
• 모든 구성 요소는 탐색 단계 간에 공유되어 엔드 투 엔드 훈련과 시간에 걸친 일관된 추론을 가능하게 한다.
• 이 아키텍처는 R2R, NDH, REVERIE를 포함한 여러 VLN 작업에서 공동 사전 훈련 및 미세 조정을 지원한다.

실험 결과

연구 질문

• RQ1 뷰 수준의 인코딩과 비교해 개체 수준 및 단어 수준에서의 시각-언어 상호작용을 모델링하면 정렬 및 탐색 성능 향상에 기여하는가?
• RQ2 순차적 BERT 아키텍처를 통해 시간적 맥락을 통합하면 다단계 VLN 작업에서 의사결정 능력이 향상되는가?
• RQ3 상대 방향과 실내 공간 유형 등의 보조 신호가 새로운 환경에서의 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 방향 및 실내 공간 유형 예측은 기존 환경에서의 과적합을 줄이고 새로운 환경에서의 성능 향상에 어떻게 기여하는가?

주요 결과

• 제안된 ORIST 모델은 REVERIE 벤치마크에서 18.97 SPL과 9.28 RGSPL을 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• NDH 벤치마크에서 ORIST는 3.17 GP를 기록하여 시각 대화 탐색 작업에서 뛰어난 성능을 보였다.
• R2R 벤치마크에서 ORIST는 52% SPL을 달성하여 다양한 실내 환경에서 강력한 일반화 능력을 보였다.
• 방향 손실 ℒᴰ는 모든 분할에서 일관되게 성능 향상을 이끌었으며, 특히 새로운 환경에서 후보 구분 능력 향상에 기여했다.
• 실내 공간 유형 손실은 기존 분할에서 성능 향상을 이끌었지만, REVERIE의 새로운 분할에서는 과적합이 발생할 수 있었으며, 이는 지시문에 다음 실내 공간 참조가 부족하기 때문일 것이다.
• 정성적 어텐션 시각화 결과, 모델이 지시 토큰(예: '욕실')을 관련 시각적 객체(예: '盥洗basin')와 정확히 정렬하고, 공간적 단서를 활용하여 행동 선택을 한다는 것이 확인되었다.