[논문 리뷰] Multi-View Learning for Vision-and-Language Navigation

Qiaolin Xia, Xiujun Li외 6명|arXiv (Cornell University)|2020. 03. 02.

Multimodal Machine Learning Applications참고 문헌 30인용 수 11

한 줄 요약

이 논문은 뷰어와 언어 탐색에서의 일반화를 향상시키기 위해 동일한 궤적에 대해 다수의 자연어 지시어를 함께 훈련하는 다중 시각 학습 프레임워크인 LEO(LEARN FROM EVERYONE)를 제안한다. 지시어 간에 파rameter를 공유하고, 파rameter가 없는 풀링 함수를 통해 이를 집계함으로써 LEO는 모호성을 줄이고 성능을 향상시킨다. R2R 벤치마크에서 41.4%의 SPL을 달성하여 탐욕적 기반 모델보다 16个百分点 높으며, 다수의 지시어를 사용할 경우 62%의 SPL을 기록하여 새로운 환경에 대한 강력한 일반화 능력을 입증한다.

ABSTRACT

Learning to navigate in a visual environment following natural language instructions is a challenging task because natural language instructions are highly variable, ambiguous, and under-specified. In this paper, we present a novel training paradigm, Learn from EveryOne (LEO), which leverages multiple instructions (as different views) for the same trajectory to resolve language ambiguity and improve generalization. By sharing parameters across instructions, our approach learns more effectively from limited training data and generalizes better in unseen environments. On the recent Room-to-Room (R2R) benchmark dataset, LEO achieves 16% improvement (absolute) over a greedy agent as the base agent (25.3% $ ightarrow$ 41.4%) in Success Rate weighted by Path Length (SPL). Further, LEO is complementary to most existing models for vision-and-language navigation, allowing for easy integration with the existing techniques, leading to LEO+, which creates the new state of the art, pushing the R2R benchmark to 62% (9% absolute improvement).

연구 동기 및 목표

• 뷰어와 언어 탐색에서 언어의 모호성과 부족한 특정성 문제를 해결하기 위해.
• 동일한 궤적의 보완적인 시각으로서 다수의 지시어를 활용하여 미지의 환경으로의 일반화를 향상시키기 위해.
• 단일 지시어로 학습하는 것이 아니라, 다양한 지시어 변형 간의 집단적 추론을 통해 학습할 수 있는 훈련 철학을 개발하기 위해.
• 다중 시각 학습이 뷰어와 언어 탐색 작업에서 성능과 내구성을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• LEO는 각 지시어를 동일한 탐색 궤적의 별개의 시각으로 간주함으로써, 뷰어와 언어 탐색을 다중 시각 학습 문제로 재구성한다.
• 주어진 궤적에 대해 모든 지시어를 처리하기 위해 공유 인코더를 사용함으로써 파rameter 공유와 공동 표현 학습을 가능하게 한다.
• 지시어 표현은 파rameter가 없는 풀링 함수(예: 평균 풀링)를 통해 병합되어 다수의 시각으로부터의 보완 정보를 융합한다.
• 융합된 지시어 임베딩은 시각적 특징과 결합되어 순차적-순차적 디코더를 통해 행동 시퀀스를 생성한다.
• 이 프레임워크는 기존의 VLN 모델과 호환되며, SMNA 및 EnvDrop와 같은 최신 기술 기반 에이전트에 쉽게 통합되어 LEO+를 형성할 수 있다.
• 훈련 중에 지시어 변형의 수를 늘리기 위해 데이터 증강 기법을 적용함으로써 추가로 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다수의 자연어 지시어에 대한 공동 추론이 뷰어와 언어 탐색에서의 일반화를 향상시키는가?
• RQ2 공유 파rameter화를 통한 다중 시각 학습이 지시어의 언어 모호성을 어떻게 줄이는가?
• RQ3 단일 지시어 훈련 대비 LEO가 미지의 환경에서 성능을 얼마나 향상시키는가?
• RQ4 LEO는 기존의 최신 기술 기반 VLN 모델과 효과적으로 통합되어 성능을 추가로 향상시킬 수 있는가?
• RQ5 지시어 간의 파rameter 공유가 과적합을 방지하고 분포 이동에 대한 내구성을 향상시키는가?

주요 결과

• LEO는 R2R 벤치마크에서 탐욕적 에이전트의 성공률 가중 경로 길이(SPL)를 25.3%에서 41.4%로 향상시켜 절대적 향상 폭 16个百分点를 기록한다.
• SMNA 에이전트에 적용했을 경우, LEO+는 SPL에서 9个百分点의 절대적 향상 폭을 기록하여 53%에서 62%로 상승한다.
• EnvDrop 에이전트에 적용했을 경우, LEO+는 R2R 테스트 세트에서 SPL을 12个百分点 절대적으로 향상시켜 62%에 도달한다.
• LEO의 공유 인코더는 다중 암부 인코더보다 미지의 환경으로의 일반화 능력이 현저히 뛰어나 과적합이 감소했음을 시사한다.
• 테스트 시점에 단일 지시어만 사용하더라도 LEO는 단일 지시어 기반 베이스라인을 능가하며, 일반화 능력 향상이 입증된다.
• 정성적 분석 결과, LEO는 '오른쪽으로 꺾어'라는 모호한 지시어로 인해 발생하는 실패 지점을, 다양한 시각 간의 일치를 통해 성공적으로 피하는 것으로 나타났다.