[논문 리뷰] MLANet: Multi-Level Attention Network with Sub-instruction for Continuous Vision-and-Language Navigation

Zongtao He, Liuyi Wang외 4명|arXiv (Cornell University)|2023. 03. 02.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 연속적인 시각-언어 탐색(continuous vision-and-language navigation)을 위한 다중 수준 주의(Multi-Level Attention) 네트워크인 MLANet을 제안한다. 이는 하위 지시어(sub-instruction) 감독을 포함한다. Annotation-free인 빠른 하위 지시어 알고리즘(Fast Sub-instruction Algorithm, FSA)을 도입하여 하위 지시어를 효율적으로 생성하고, 저수준 및 고수준 의미를 융합하기 위한 다중 수준 주의(MLA) 모듈과 현재 하위 지시어에 동적으로 집중할 수 있도록 하는 피크 주의 손실(Peak Attention Loss, PAL)을 제안하여, 검증-미사용(split)에서 31% 향상된 SPL 성능과 테스트 분할에서 28% 향상된 성능을 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Vision-and-Language Navigation (VLN) aims to develop intelligent agents to navigate in unseen environments only through language and vision supervision. In the recently proposed continuous settings (continuous VLN), the agent must act in a free 3D space and faces tougher challenges like real-time execution, complex instruction understanding, and long action sequence prediction. For a better performance in continuous VLN, we design a multi-level instruction understanding procedure and propose a novel model, Multi-Level Attention Network (MLANet). The first step of MLANet is to generate sub-instructions efficiently. We design a Fast Sub-instruction Algorithm (FSA) to segment the raw instruction into sub-instructions and generate a new sub-instruction dataset named ``FSASub". FSA is annotation-free and faster than the current method by 70 times, thus fitting the real-time requirement in continuous VLN. To solve the complex instruction understanding problem, MLANet needs a global perception of the instruction and observations. We propose a Multi-Level Attention (MLA) module to fuse vision, low-level semantics, and high-level semantics, which produce features containing a dynamic and global comprehension of the task. MLA also mitigates the adverse effects of noise words, thus ensuring a robust understanding of the instruction. To correctly predict actions in long trajectories, MLANet needs to focus on what sub-instruction is being executed every step. We propose a Peak Attention Loss (PAL) to improve the flexible and adaptive selection of the current sub-instruction. PAL benefits the navigation agent by concentrating its attention on the local information, thus helping the agent predict the most appropriate actions. We train and test MLANet in the standard benchmark. Experiment results show MLANet outperforms baselines by a significant margin.

연구 동기 및 목표

• 연속적인 시각-언어 탐색(Vision-and-Language Navigation, VLN)에서 실시간 실행, 복잡한 지시어 이해, 장기 행동 예측 등의 과제를 해결하기 위해.
• 개별 단어보다 더 높은 분해능을 가진 중간 의미 단위로 하위 지시어를 도입하여 지시어 이해를 향상시키기 위해.
• 새로운 손실 함수를 통해 탐색 중 하위 지시어에 대한 동적이고 적응적인 주의를 가능하게 하기 위해.
• 실시간 배포에 적합한 효율적이고 annotation-free인 하위 지시어 생성 방법을 개발하기 위해.

제안 방법

• 기존의 딥러닝 기반 접근 방식보다 70배 빠른 속도로 원시 지시어를 하위 지시어로 분할하는 효율적이고 annotation-free인 빠른 하위 지시어 알고리즘(Fast Sub-instruction Algorithm, FSA)을 제안한다.
• 시각적 특징, 저수준의 단어 수준 의미, 고수준의 하위 지시어 수준 의미를 동적으로 통합하여 전역적으로 일관된 표현을 만드는 다중 수준 주의(Multi-Level Attention, MLA) 모듈을 도입한다.
• 각 단계에서 오직 하나의 하위 지시어만 활성 주의를 받도록 주의 점수를 조정하기 위해 피크 주의 손실(Peak Attention Loss, PAL)을 사용한다. 이는 국소적 목표 인식을 향상시킨다.
• 시간 주의 피크를 제어하기 위해 정규분포, 일정, 선형, 이차, 삼차 주의 집중 비율(σ)을 사용하며, 정규분포가 최적의 성능을 낸다.
• R2R 및 RxR 데이터셋을 사용하여 표준 연속 VLN 벤치마크에서 MLANet을 훈련 및 평가한다. 전체 테스트 분할을 사용한다.
• FSA를 통해 생성된 새로운 하위 지시어 데이터셋 FSASub을 공개하여 향후 연구에 기여한다.

실험 결과

연구 질문

• RQ1 하위 지시어 분할은 연속적인 VLN에서 지시어 이해와 탐색 성능을 향상시킬 수 있는가?
• RQ2 단어 수준과 하위 지시어 수준 의미를 융합하는 다중 수준 주의는 에이전트의 인지 능력과 강인성을 어떻게 향상시키는가?
• RQ3 PAL과 같은 비지도 주의 손실이 각 단계에서 올바른 하위 지시어에 집중하도록 효과적으로 안내할 수 있는가?
• RQ4 제안된 FSA 알고리즘은 기존의 하위 지시어 생성 방법보다 얼마나 효율적인가? 실시간 탐색에 적합한가?
• RQ5 훈련 데이터로 사용된 환경 외부의 환경에 대해 모델은 잘 일반화되는가?

주요 결과

• MLANet는 기준 모델 대비 검증-미사용 분할에서 31% 향상된 SPL 성능을 기록하여, 미사용 환경에 대한 강력한 일반화 능력을 입증한다.
• 테스트 분할에서는 28% 향상된 SPL 성능을 기록하여, 실제 환경 유사 탐색 시나리오에서의 효과성을 확인한다.
• 정규분포 집중 비율(σ = 0.6)을 사용한 피크 주의 손실(PAL)이 최고의 성능을 낸다. 검증-미사용 분할에서 30.1% 성공률과 28.4% SPL 성능 기록.
• FSA 알고리즘은 이전 방법 대비 70배 더 빠른 속도로 하위 지시어를 생성하여 실시간 연속 VLN 응용에 적합하다.
• 정성적 분석 결과, 주의가 시간이 지남에 따라 적절하게 하위 지시어 간에 이동하며, 주의 히트맵에서 명확한 대각선 패턴을 보여, 정확한 시간적 정렬을 확인한다.
• 실패 사례 분석 결과, 희귀한 시각적 또는 언어적 자극(예: '빛나는 샹들리에')에 민감하게 반응함을 확인하여, 드문 관측 상황에서의 강인성에 한계가 있음을 시사한다.