[논문 리뷰] Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks

Fengda Zhu, Yi Zhu외 2명|arXiv (Cornell University)|2019. 11. 18.

Multimodal Machine Learning Applications참고 문헌 50인용 수 16

한 줄 요약

이 논문은 시각-언어 탐색(Vision-Language Navigation)을 향상시키기 위해 보조 추론 작업 네 가지—경로 재설명, 진행도 추정, 다음 방향 예측, 다중모odal 매칭—를 도입한 자기지도 학습 프레임워크인 보조 추론 탐색(AuxRN)을 제안한다. 이러한 작업들은 zero-shot 일반화 능력을 향상시키고 성능을 향상시키며, 미사용된 VLN 벤치마크에서 65%의 SPL을 달성하여 이전 최고 성능(SOTA) 방법을 능가한다.

ABSTRACT

Vision-Language Navigation (VLN) is a task where agents learn to navigate following natural language instructions. The key to this task is to perceive both the visual scene and natural language sequentially. Conventional approaches exploit the vision and language features in cross-modal grounding. However, the VLN task remains challenging, since previous works have neglected the rich semantic information contained in the environment (such as implicit navigation graphs or sub-trajectory semantics). In this paper, we introduce Auxiliary Reasoning Navigation (AuxRN), a framework with four self-supervised auxiliary reasoning tasks to take advantage of the additional training signals derived from the semantic information. The auxiliary tasks have four reasoning objectives: explaining the previous actions, estimating the navigation progress, predicting the next orientation, and evaluating the trajectory consistency. As a result, these additional training signals help the agent to acquire knowledge of semantic representations in order to reason about its activity and build a thorough perception of the environment. Our experiments indicate that auxiliary reasoning tasks improve both the performance of the main task and the model generalizability by a large margin. Empirically, we demonstrate that an agent trained with self-supervised auxiliary reasoning tasks substantially outperforms the previous state-of-the-art method, being the best existing approach on the standard benchmark.

연구 동기 및 목표

• 기존의 시각-언어 탐색(VLN) 에이전트가 의미적 맥락을 인지하고 과거 행동 및 향후 목표에 대해 추론하는 데에 한계가 있음을 해결하기 위해.
• 탐색 경로에서 암묵적인 의미 신호를 추출하는 자기지도 보조 작업을 활용하여, 미사용 환경으로의 일반화 능력을 향상시키기 위해.
• 자신의 행동, 진행도, 환경 일관성에 대해 추론하도록 에이전트를 훈련시켜 해석 가능성과 데이터 효율성을 향상시키기 위해.
• 피팅 테이닝 중에 표현을 정렬하는 보조 작업을 통해 본래 환경과 미사용 환경 간의 도메인 차이를 줄이기 위해.

제안 방법

• 경로 재설명(과거 행동에 대한 자연어 설명), 진행도 추정(정규화된 경로 완료도 예측), 다음 방향 예측(턴 각도 추정), 다중모달 매칭(시간에 따라 시각 및 언어 특징 정렬)의 네 가지 자기지도 보조 추론 작업을 도입한다.
• 진행도 추정에 이진 교차 엔트로피(BCE) 손실을 사용한 단계별 지도 학습을 적용하여, 평균 제곱오차(MSE) 또는 이전 진행도 모니터보다 더 우수한 성능을 보였다.
• 언어 지시문을 인코딩하기 위해 양방향 LSTM을 사용하고, 탐색 단계에 걸쳐 언어 특징이 어떻게 주목되는지 추적하기 위해 어텐션 맵을 계산한다.
• 보조 손실을 본래 환경에서 사전 훈련하는 동안 적용하고, 미사용 환경에서 피팅 테이닝을 수행하며, 모든 작업 간에 공유된 표현 학습을 수행한다.
• 주요 평가 지표로 경로 길이에 가중된 성공률(SPL)을 사용하고, 각 보조 작업의 기여도를 검증하기 위해 분석 실험을 실시한다.
• 어텐션 맵과 탐색 진행도를 시각화하여, 향상된 추론 및 일관성 이해 능력을 입증한다.

실험 결과

연구 질문

• RQ1 자기지도 보조 추론 작업은 시각-언어 탐색에서 zero-shot 일반화 능력을 향상시킬 수 있는가?
• RQ2 과거 행동 추론과 미래 예측을 모델링하면 탐색 성능과 강건성은 향상되는가?
• RQ3 BCE 손실을 사용한 단계별 진행도 추정은 거리 기반 또는 MSE 기반 지도 학습보다 어떻게 비교되는가?
• RQ4 보조 작업이 어텐션 메커니즘을 얼마나 규제하고 모델의 해석 가능성은 얼마나 향상시키는가?
• RQ5 보조 작업은 피팅 테이닝 중 본래 환경과 미사용 환경 간의 도메인 갭을 줄일 수 있는가?

주요 결과

• 제안된 AuxRN 프레임워크는 미사용 VLN 벤치마크에서 65%의 SPL을 달성하여 이전 최고 성능(SOTA)보다 4% 향상되었으며, 공식 VLN 랭킹에서 처음으로 1위를 기록한 모델이다.
• 사전 훈련 시 보조 작업을 사용한 모델은 검증 세트에서 베이스라인 대비 3.45% 향상된 성능을 보이며 뚜렷한 성능 향상을 입증했다.
• 진행도 추정의 단계별 + BCE 버전은 본래의 진행도 모니터 대비 본래 세트에서 6.34% 높은 SPL, 미사용 세트에서 1.58% 높은 SPL을 기록했다.
• 보조 작업은 어텐션 맵의 규제를 향상시켰으며, 최종 모델은 시간이 지남에 따라 핵심 단어(예: 지시문의 시작 및 끝)에 더 집중하는 경향을 보였다.
• 시각화 결과, 진행도 추정기와 다중모달 매칭 기능이 목표에 도달할수록 일관되게 1.0에 수렴하는 것으로 확인되어, 경로 일관성과 진행도에 대한 정확한 인식 능력을 보였다.
• 분석 실험 결과, BCE 손실이 MSE 또는 이전 진행도 모니터보다 우수한 성능을 내며, 보조 작업이 함께 기여함으로써 일반화 능력과 강건성이 향상됨을 입증했다.