[논문 리뷰] SASRA: Semantically-aware Spatio-temporal Reasoning Agent for Vision-and-Language Navigation in Continuous Environments

Muhammad Zubair Irshad, Niluthpol Chowdhury Mithun외 4명|arXiv (Cornell University)|2021. 08. 26.

Multimodal Machine Learning Applications참고 문헌 45인용 수 4

한 줄 요약

이 논문은 연속적인 3D 환경에서 시각-언어 탐색(Vision-and-Language Navigation)을 위한 의미 인식 스파atiotemporal 추론 에이전트인 SASRA를 제안한다. 이는 트랜스포머 기반의 다중모달 주의 메커니즘과 하이브리드 반복 모델을 결합하여 상향식 의미 지도를 구축하고 언어 지시사항과 정렬한다. 구조화된 의미 지ap 맵핑과 주의 기반 다중모달 추론을 통해 공간 인식 능력과 시간 기억 능력을 향상시켜, 미리 보지 않은 환경에서 최신 기준 대비 22% 상대적 향상을 달성한다.

ABSTRACT

This paper presents a novel approach for the Vision-and-Language Navigation (VLN) task in continuous 3D environments, which requires an autonomous agent to follow natural language instructions in unseen environments. Existing end-to-end learning-based VLN methods struggle at this task as they focus mostly on utilizing raw visual observations and lack the semantic spatio-temporal reasoning capabilities which is crucial in generalizing to new environments. In this regard, we present a hybrid transformer-recurrence model which focuses on combining classical semantic mapping techniques with a learning-based method. Our method creates a temporal semantic memory by building a top-down local ego-centric semantic map and performs cross-modal grounding to align map and language modalities to enable effective learning of VLN policy. Empirical results in a photo-realistic long-horizon simulation environment show that the proposed approach outperforms a variety of state-of-the-art methods and baselines with over 22% relative improvement in SPL in prior unseen environments.

연구 동기 및 목표

• 기존의 엔드 투 엔드 모델이 의미 및 시간적 추론 능력에 한계를 가진 바, 연속적인 3D 환경에서의 시각-언어 탐색(VLN)의 일반화 갭을 해결하기 위해.
• 고전적 의미 지도 맵핑과 딥 러닝을 통합하여 탐색 에이전트의 공간 및 시간 인식 능력을 향상시키기 위해.
• 지속적인 의미 기반 기억을 구축하여 새로운 환경에 대한 제로샷 일반화 능력을 향상시키기 위해.
• 더 나은 행동 예측을 위해 노출 편향을 줄이기 위해 DAGGER 기반의 암시 학습을 활용하여 정책 학습을 개선하기 위해.

제안 방법

• 에이전트는 각 시간 단계에서 RGB 및 깊이 관측치를 바탕으로 학습된 의미 분할 헤드를 사용해 상향식, 자아 중심의 의미 지도를 구축한다.
• 새로운 2차원 다중모달 의미-언어 주의 지도 맵 트랜스포머(SLAM-T)를 도입하여 의미 지도와 자연어 지시사항 양쪽 모두에 주의를 기울이며, 다중모달 기반의 정렬을 가능하게 한다.
• 하이브리드 반복 모듈은 글로벌 컨텍스트 모델링을 위한 트랜스포머 인코더와 순차적 상태 추적을 위한 LSTM을 조합하여 시간 단계 간 장기 기억을 유지한다.
• 행동 디코더는 이산 및 연속 행동 헤드를 조합한 하이브리드 아키텍처(HAD)로 구성되어 있으며, 정밀한 탐색 결정을 도출한다.
• 정책은 노출 편향을 줄이고 추론 시의 강건성을 향상시키기 위해 DAGGER(데이터셋 집합) 기반의 암시 학습을 사용하여 학습된다.
• 모델은 암시 학습과 커리큘럼 기반 감독을 조합하여 VLN-CE 데이터셋에서 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 구조화된 의미 기억을 가진 하이브리드 트랜스포머-반복 아키텍처가 새로운 연속적인 3D 환경에서의 시각-언어 탐색에서 일반화 능력을 향상시키는가?
• RQ2 의미 지도와 학습된 언어 지시사항 간의 다중모달 주의 기반 추론이 장거리 탐색을 안내하는 데 얼마나 효과적인가?
• RQ3 원시 시각 입력만을 사용하는 것에 비해 상향식 의미 지도를 통합할 경우 공간 추론 능력 향상과 탐색 오류 감소에 어느 정도 기여하는가?
• RQ4 DAGGER 기반 학습은 티처 포싱 대비 VLN-CE에서 노출 편향을 크게 줄이고 정책의 강건성을 향상시키는가?
• RQ5 의미 지도 맵핑, SLAM-T, HAD, DAGGER와 같은 개별 구성 요소들이 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• SASRA는 새로운 환경에서 최신 기준 대비 22% 상대적 향상을 달성한 성공 가중 경로 길이(SPL)를 기록한다.
• SLAM-T 모듈의 통합으로 성공률(SR)이 4%p 상승하고 SPL이 3%p 상승하여 다중모달 주의 기반 추론의 가치를 입증한다.
• 하이브리드 행동 디코더(HAD)는 표준 RNN 기반 디코더 대비 SR과 SPL 모두 5%p 향상시키며, 행동 생성의 중요성을 강조한다.
• DAGGER 학습은 티처 포싱 대비 SR과 SPL 모두 9%p 향상시키며, 노출 편향 감소에 효과적임을 입증한다.
• 정성 분석 결과, 에이전트는 새로운 환경에서 복잡하고 장거리 지시(예: 62단계)를 성공적으로 수행했으며, 의미적 맥락이 제공될 경우 '외부로 나가기'와 같은 애매한 표현도 정확히 해석하였다.
• 제거 실험 결과, 의미 지도 맵핑, SLAM-T, HAD, DAGGER의 조합이 최적의 성능을 내기 위해 필수적이며, 각 구성 요소가 최종 결과에 상당한 기여를 한다는 것이 확인되었다.