[논문 리뷰] SOAT: A Scene- and Object-Aware Transformer for Vision-and-Language Navigation

Abhinav Moudgil, Arjun Majumdar외 3명|arXiv (Cornell University)|2021. 10. 27.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각-언어 탐색을 위한 시나리오 및 개체 인식 트랜스포머(SOAT)를 제안한다. 이는 시나리오 분류와 개체 탐지에 별도의 시각 인코더를 사용하며, 선택적 어텐션 메커니즘을 통해 이를 통합하여 언어 지시어의 정렬을 향상시킨다. 이 방법은 R2R에서 1.8%의 절대적인 SPL 향상과 RxR에서 3.7%의 SR 향상을 달성하며, 특히 개체가 많은 지시어에서는 최대 7.9%의 SR 향상을 보이며, 개체 수준의 특징을 활용한 시각-언어 사전학습의 효과를 입증한다.

ABSTRACT

Natural language instructions for visual navigation often use scene descriptions (e.g., "bedroom") and object references (e.g., "green chairs") to provide a breadcrumb trail to a goal location. This work presents a transformer-based vision-and-language navigation (VLN) agent that uses two different visual encoders -- a scene classification network and an object detector -- which produce features that match these two distinct types of visual cues. In our method, scene features contribute high-level contextual information that supports object-level processing. With this design, our model is able to use vision-and-language pretraining (i.e., learning the alignment between images and text from large-scale web data) to substantially improve performance on the Room-to-Room (R2R) and Room-Across-Room (RxR) benchmarks. Specifically, our approach leads to improvements of 1.8% absolute in SPL on R2R and 3.7% absolute in SR on RxR. Our analysis reveals even larger gains for navigation instructions that contain six or more object references, which further suggests that our approach is better able to use object features and align them to references in the instructions.

연구 동기 및 목표

• 지시어에 포함된 시나리오 수준과 개체 수준의 시각적 단서를 명시적으로 모델링하여 시각-언어 탐색(VLN) 성능을 향상시키는 것.
• 시각-언어 사전학습과 VLN 미세조정 간의 도메인 차이를 해결하기 위해 사전학습 데이터와 일치하는 개체 탐지 특징을 사용하는 것.
• 시나리오 수준의 특징을 맥락적 단서로 활용하면서도, 처리 능력을 개체 수준의 표현에 집중시키는 트랜스포머 아키텍처를 설계하는 것.
• 시각-언어 사전학습이 복잡하고 개체가 많은 지시어에서 개체 수준의 특징을 효과적으로 활용할 수 있는지 평가하는 것.
• 특히 RxR와 같은 도전적인 벤치마크에서 개체 수준의 정렬이 탐색 성능을 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 모델은 두 가지 별도의 시각 인코더를 사용한다: 시나리오 분류를 위한 Places 기반 CNN과 개체 탐지를 위한 Faster R-CNN으로, 상호보완적인 시각적 특징을 생성한다.
• 시나리오 특징은 고수준의 맥락적 단서로 사용되며, 개체 특징은 선택적 어텐션 메커니즘을 갖춘 수정된 트랜스포머를 통해 처리되며, 시나리오 표현은 동결된다.
• 어텐션 메커니즘이 재구성되어 개체 특징이 시나리오 특징을 참조하여 맥락을 얻을 수 있지만, 반대로 시나리오 특징이 개체 특징을 참조하지는 않도록 하여, 시나리오 특징이 고정된 맥락으로 유지되도록 보장한다.
• 모델는 시각-언어 사전학습(예: VLN-BERT)을 사용하여 엔드 투 엔드로 미세조정되며, 웹 기반 대규모 데이터를 활용하여 이미지와 텍스트 표현 간의 정렬을 강화한다.
• 각 탐색 단계에서 행동 예측을 위해 가장 관련성이 높은 시각적 특징을 선택하는 뷰 통합 전략을 적용한다.
• 모델는 R2R와 RxR 벤치마크에서 평가되며, 개체 특징과 사전학습의 영향을 분리하여 분석하는 아블레이션 스터디를 실시한다.

실험 결과

연구 질문

• RQ1 시나리오 및 개체 수준의 시각적 단서를 명시적으로 모델링하면 시각-언어 탐색 성능이 향상되는가?
• RQ2 시각-언어 사전학습과 일치하는 개체 탐지 특징을 사용하면 지시어 참조 표현의 정렬이 향상되는가?
• RQ3 시나리오와 개체 특징을 다르게 처리하는 선택적 어텐션 메커니즘이 표준 어텐션과 비교해 성능에 어떤 영향을 미치는가?
• RQ4 시각-언어 사전학습이 VLN에서 개체 수준의 특징을 효과적으로 활용할 수 있도록 하는 정도는 어느 정도인가?
• RQ5 지시어에 개체 참조가 많은 경우 모델이 더 큰 성능 향상을 보이며, 이는 개체 정렬 향상의 증거가 되는가?

주요 결과

• SOAT는 VLN-BERT 기준선 대비 R2R 검증-미사용 분할에서 1.8%의 절대적인 SPL 향상을 달성한다.
• 더 도전적인 RxR 벤치마크에서 SOAT는 성공률(SR)을 3.7%포인트 향상시키고, NDTW를 2.4점 향상시킨다.
• 6개 이상의 개체 참조를 포함한 지시어에서는 SOAT가 VLN-BERT 기준선 대비 SR에서 7.91%의 절대적인 향상을 기록한다.
• 시각-언어 사전학습이 없이선 개체 특징의 성능 향상이 미미하여, 사전학습이 개체 수준 표현을 효과적으로 활용하기 위해 필수적임을 시사한다.
• 특히 개체가 많은 탐색 시나리오에서 영어 지시어에 대해 최신 기술 대비 뛰어난 성능을 보이며, RxR에서 승리한다.
• 아블레이션 스터디 결과, 선택적 어텐션 메커니즘이 핵심임을 확인하였으며, 아키텍처 변경 없이 단순히 개체 특징을 추가하는 것은 성능을 떨어뜨린다.