[논문 리뷰] Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training

Weituo Hao, Chunyuan Li외 3명|arXiv (Cornell University)|2020. 02. 25.

Multimodal Machine Learning Applications참고 문헌 32인용 수 18

한 줄 요약

이 논문은 이미지-텍스트-행동 삼중항을 기반으로 한 자기지도 학습을 통해 일반적이고 이식 가능한 표현을 학습하는 Prevalent이라는 시각-언어 탐색 에이전트를 소개한다. 마스크된 언어 모델링과 행동 예측 목적함수를 사용해 사전 훈련함으로써 Prevalent은 세 가지 VLN 벤치마크에서 최신 기술 수준의 성능을 달성한다—R2R에서 성공률를 51%로 향상시키고, CVND와 HANNA에서 새로운 SOTA를 수립한다. 또한, 새로운 환경에 더 잘 일반화하고 파인튜닝 과정에서 더 빠르게 적응하는 데 성공한다.

ABSTRACT

Learning to navigate in a visual environment following natural-language instructions is a challenging task, because the multimodal inputs to the agent are highly variable, and the training data on a new task is often limited. In this paper, we present the first pre-training and fine-tuning paradigm for vision-and-language navigation (VLN) tasks. By training on a large amount of image-text-action triplets in a self-supervised learning manner, the pre-trained model provides generic representations of visual environments and language instructions. It can be easily used as a drop-in for existing VLN frameworks, leading to the proposed agent called Prevalent. It learns more effectively in new tasks and generalizes better in a previously unseen environment. The performance is validated on three VLN tasks. On the Room-to-Room benchmark, our model improves the state-of-the-art from 47% to 51% on success rate weighted by path length. Further, the learned representation is transferable to other VLN tasks. On two recent tasks, vision-and-dialog navigation and "Help, Anna!" the proposed Prevalent leads to significant improvement over existing methods, achieving a new state of the art.

연구 동기 및 목표

• 시각-언어 탐색(VLN)에서 제한적이고 모호한 훈련 데이터 문제를 해결하기 위해 대규모 다중모달 데이터에서 일반적이고 이식 가능한 표현을 학습하는 것.
• 작업 특화 사전 훈련에 대한 의존도를 줄이기 위해 언어와 시각적 이해를 행동 시퀀스에 기반한 사전 훈련 철학을 도입하는 것.
• 통합된 사전 훈련된 인코더를 통해 새로운 환경에 대한 일반화 능력을 향상시키고, 새로운 작업에 더 빠르게 적응하는 것.
• 기존 VLN 프레임워크와의 플러그-인 호환성을 보장하기 위해 일반적이고 재사용 가능한 표현 모델을 제공하는 것.
• 행동와 이미지-주목된 마스크된 언어 모델링을 통한 사전 훈련의 효과를 하류 VLN 작업에서 검증하는 것.

제안 방법

• R2R 데이터셋에서 수집한 대규모 이미지-텍스트-행동 삼중항을 사용해 자기지도 학습 철학에 기반한 시각-언어 모델을 사전 훈련한다.
• 두 가지 사전 훈련 목적함수를 사용한다: 시각적 특징에 대한 교차 attention을 통한 마스크된 언어 모델링(MLM), 그리고 언어와 미래 행동을 정렬하기 위한 다음 행동 예측(PA).
• 하류 VLN 작업에서 사전 훈련된 인코더를 고정된 특징 추출기로 사용하거나 엔드 투 엔드로 파인튜닝하여 기존 모델과의 플러그인 호환성을 확보한다.
• 세 가지 하류 작업에 사전 훈련된 모델을 적용한다: Room-to-Room(R2R), 협업형 시각-대화 탐색(CVND), "Help, Anna!"(HANNA).
• 이중 단계 훈련 전략을 적용한다: 먼저 사전 훈련된 인코더에서 고정된 특징을 추출하고, 그 다음 교차 attention 레이어를 파인튜닝하여 성능을 향상시킨다.
• 마스크된 언어 모델링 목적함수를 설계하여 마스크 시 시각적 특징에 주목하도록 하여, 표준 BERT 스타일 사전 훈련과 차별화하고 다중모달 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지-텍스트-행동 삼중항에 기반한 자기지도 사전 훈련이 시각-언어 탐색에서 제로샷 일반화 능력을 향상시키는가?
• RQ2 행동 예측과 마스크된 언어 모델링을 통한 사전 훈련은 무작위 초기화나 표준 BERT와 비교해 더 높은 성능과 더 빠른 적응을 이끌어내는가?
• RQ3 사전 훈련된 시각-언어 표현이 다양한 VLN 작업, 특히 도메인 내 및 도메인 외 설정에서 얼마나 잘 이식 가능한가?
• RQ4 사전 훈련이 랜덤 초기화나 표준 파인튜닝에 비해 과적합을 줄이고, 새로운 환경에서 성능을 향상시키는 데 기여하는가?
• RQ5 탐색 작업에서 표준 BERT 스타일 MLM보다 이미지 주목된 마스크된 언어 모델링이 더 효과적인가?

주요 결과

• Prevalent은 R2R 벤치마크에서 이전 SOTA의 47%에서 51%로 성공률를 향상시켜 새로운 최고 기록을 수립했다.
• 협업형 시각-대화 탐색(CVND) 작업에서 Prevalent은 기존 방법들을 크게 능가하며, 도메인 외 작업으로의 강력한 이식 가능성과 성능을 입증했다.
• "Help, Anna!"(HANNA) 벤치마크에서 Prevalent은 제출 당시 공개된 결과 중 가장 높은 성능을 기록하여 상호작용 탐색에서의 효과성을 확인했다.
• 사전 훈련된 모델은 더 빠른 적응과 더 나은 일반화 능력을 보였으며, 학습 곡선상에서 본 환경과 새로운 환경 간의 성능 격차가 작고 수렴 속도가 빠른 것으로 나타났다.
• 제거 실험 결과, 마스크된 언어 모델링과 행동 예측 목적함수 모두 성능 향상에 기여하며, 표준 BERT 사전 훈련보다 이미지 주목된 MLM이 더 효과적인 것으로 확인되었다.
• 특징 기반 파인튜닝 접근법이 강력한 성능을 보였고, 특징 추출 후 교차 attention 레이어를 파인튜닝하는 이중 단계 훈련 전략이 R2R에서 성능을 추가로 향상시켰다.