[논문 리뷰] Perceive, Transform, and Act: Multi-Modal Attention Networks for Vision-and-Language Navigation

Federico Landi, Lorenzo Baraldi외 3명|arXiv (Cornell University)|2019. 11. 27.

Multimodal Machine Learning Applications참고 문헌 51인용 수 27

한 줄 요약

이 논문은 시각-언어 탐색(Vision-and-Language Navigation)을 위한 Transformer 기반 아키텍처인 Perceive, Transform, and Act(PTA)을 소개한다. PTA는 조기 융합 및 후기 융합 전략을 통해 시각, 언어, 이산 동작을 통합한다. PTA는 R2R에서 최고 성능을 기록하고, R4R 벤치마크에서도 새로운 SOTA 성능을 달성하여 두 동작 설정 모두에서 이전 방법들을 능가한다.

ABSTRACT

Vision-and-Language Navigation (VLN) is a challenging task in which an agent needs to follow a language-specified path to reach a target destination. In this paper, we strive for the creation of an agent able to tackle three key issues: multi-modality, long-term dependencies, and adaptability towards different locomotive settings. To that end, we devise Perceive, Transform, and Act (PTA): a fully-attentive VLN architecture that leaves the recurrent approach behind and the first Transformer-like architecture incorporating three different modalities - natural language, images, and discrete actions for the agent control. In particular, we adopt an early fusion strategy to merge lingual and visual information efficiently in our encoder. We then propose to refine the decoding phase with a late fusion extension between the agent's history of actions and the perception modalities. We experimentally validate our model on two datasets and two different action settings. PTA surpasses previous state-of-the-art architectures for low-level VLN on R2R and achieves the first place for both setups in the recently proposed R4R benchmark. Our code is publicly available at this https URL.

연구 동기 및 목표

• 다중모달성, 장기적 의존성, 적응 가능성의 과제를 해결하기 위해 시각-언어 탐색(VLN)에서의 도전 과제를 다루기.
• 기존의 순환 신경망을 대체하는 비재귀적이고 완전히 주의 기반의 아키텍처를 개발하기.
• 조기 융합 및 후기 융합 메커니즘을 통해 언어, 시각, 동작 모달리티의 효과적인 융합을 가능하게 하기.
• 다양한 이동 설정과 벤치마크 환경 간의 강력한 일반화 성능 확보하기.

제안 방법

• 모델은 인코더에서 언어적 및 시각적 특징을 조기 융합 전략을 통해 결합하여 공동 표현 학습을 수행한다.
• 다중 헤드 자기주의 기반 메커니즘이 융합된 다중모달 임베딩을 처리하여 다양한 모달 간의 장거리 의존성을 포착한다.
• 디코더는 행동 기록을 인지 특징과 후기 융합 방식으로 통합하여 의사결정을 정밀하게 개선한다.
• 모델은 엔드 투 엔드로 훈련 가능하며, 다양한 동작 공간과 탐색 작업에 대해 확장 가능한 아키텍처로 설계되어 있다.
• 입력 시퀀스의 공간적 및 순차적 구조를 유지하기 위해 위치 인코딩을 활용한다.
• 모델은 R2R 및 R4R 벤치마크에서 두 가지 다른 동작 설정을 통해 안정성과 성능을 입증하기 위해 평가되었다.

실험 결과

연구 질문

• RQ1 비재귀적이고 주의 기반 아키텍처가 시각-언어 탐색 작업에서 순환 모델을 능가할 수 있는가?
• RQ2 조기 융합 및 후기 융합 전략이 통합된 Transformer 프레임워크에서 시각, 언어, 동작 모달리티를 얼마나 효과적으로 융합할 수 있는가?
• RQ3 제안된 아키텍처가 VLN의 다양한 동작 공간과 이동 설정 간에 일반화되는가?
• RQ4 모델이 복잡한 언어 지시문을 수반한 장수행 탐색 과제에서 성능을 얼마나 향상시키는가?

주요 결과

• PTA는 R2R 벤치마크에서 최고 성능을 기록하여 이전 SOTA 아키텍처를 능가하며, 저수준 VLN 설정에서도 승리한다.
• 모델은 두 동작 설정 모두에서 R4R 벤치마크에서 새로운 1위 성과를 기록하여 강력한 일반화 능력을 입증한다.
• 제거 실험 결과는 조기 융합(시각 및 언어)과 후기 융합(행동 및 인지) 구성 요소의 효과성을 확인한다.
• 완전히 주의 기반 설계 덕분에 순환 기반 기준 대비 장기적 의존성 모델링이 향상된다.
• 다양한 이동 설정 간에 잘 일반화되어 있어 높은 적응성 잠재력을 보인다.
• 코드가 공개되어 재현성과 다중모달 VLN 분야의 향후 연구를 가능하게 한다.