[논문 리뷰] Sub-Instruction Aware Vision-and-Language Navigation

Yicong Hong, Cristian Rodríguez-Opazo외 2명|arXiv (Cornell University)|2020. 04. 06.

Multimodal Machine Learning Applications참고 문헌 36인용 수 8

한 줄 요약

이 논문은 시각-언어 탐색을 위한 서브-지시어 인지 모듈을 제안하여, 개별 서브-지시어에 대한 세분화된 주의와 이동 메커니즘을 통한 진행 상황 추적을 가능하게 함으로써 에이전트 성능을 향상시킨다. 서브-지시어와 서브-경로 애너테이션을 포함한 세분화된 R2R(Fine-Grained R2R, FGR2R) 데이터셋을 도입함으로써, 네 가지 최신 기술(SOTA) 에이전트의 성공률이 향상되었으며, 각 단계에서 에이전트의 의사결정 과정에 대한 정확성과 추적 가능성이 모두 향상되었다.

ABSTRACT

Vision-and-language navigation requires an agent to navigate through a real 3D environment following natural language instructions. Despite significant advances, few previous works are able to fully utilize the strong correspondence between the visual and textual sequences. Meanwhile, due to the lack of intermediate supervision, the agent's performance at following each part of the instruction cannot be assessed during navigation. In this work, we focus on the granularity of the visual and language sequences as well as the traceability of agents through the completion of an instruction. We provide agents with fine-grained annotations during training and find that they are able to follow the instruction better and have a higher chance of reaching the target at test time. We enrich the benchmark dataset Room-to-Room (R2R) with sub-instructions and their corresponding paths. To make use of this data, we propose effective sub-instruction attention and shifting modules that select and attend to a single sub-instruction at each time-step. We implement our sub-instruction modules in four state-of-the-art agents, compare with their baseline models, and show that our proposed method improves the performance of all four agents. We release the Fine-Grained R2R dataset (FGR2R) and the code at https://github.com/YicongHong/Fine-Grained-R2R.

연구 동기 및 목표

• 시각-언어 탐색에서 중간 단계의 감독이 부족한 문제를 해결하기 위해, 에이전트가 개별 지시어 부분을 따르는지 평가할 수 없음을 해결한다.
• 세분화된 서브-지시어 애너테이션을 도입하여 시각적 관측과 언어 지시어 간의 대응 관계를 향상시킨다.
• 탐색 중 지시어 완료를 단계별로 추적할 수 있도록 함으로써 에이전트의 추적 가능성을 향상시킨다.
• 서브-지시어 수준의 감독이 실제 3D 환경에서 더 높은 성공률과 더 나은 기반(grounding)을 이끌어낼 수 있음을 입증한다.
• 미래의 VLN 연구를 위한 새로운 벤치마크(FGR2R)와 모듈러 구성 요소를 제공한다.

제안 방법

• Stanford NLP 파서의 문법적 관계를 이용해 장문의 지시어를 서브-지시어로 분할한다.
• 서브-지시어 주의 메커니즘은 시각-언어 정렬 기반으로 에이전트가 한 번에 하나의 서브-지시어만 주의할 수 있도록 한다.
• 이동 모듈은 현재 서브-지시어가 완료되었는지 여부를 결정하여 다음 서브-지시어로 전환할 수 있도록 한다.
• 이 방법은 모듈러 구조를 취하고 있으며, 암시 학습 및 강화 학습 기반의 기존 VLN 에이전트에 통합될 수 있다.
• FGR2R 데이터셋은 실제 경로를 기반으로 해당 서브-지시어와 함께 애너테이션을 수행하여 세분화된 감독을 가능하게 한다.
• 서브-지시어 수준의 궤적 정확도 평가를 위해 nDTW 및 목적지까지의 거리 지표를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 서브-지시어 수준의 감독은 시각-언어 탐색 에이전트의 성공률을 향상시킬 수 있는가?
• RQ2 제안된 서브-지시어 주의 및 이동 메커니즘이 에이전트의 단계별 지시어 따르기 능력을 향상시키는가?
• RQ3 탐색 과정을 어느 정도 서브-지시어 수준에서 추적하고 평가할 수 있는가?
• RQ4 간단한 동작과 복잡한, 물체 조건이 붙은 지시어(예: '세면대, 냉장고, 오븐을 지나서 걷기')와 같은 지시어 유형에 따라 에이전트 성능은 어떻게 달라지는가?
• RQ5 제안된 방법은 암시 학습과 강화 학습을 사용하는 다양한 SOTA 에이전트에 일반화 가능한가?

주요 결과

• 모든 네 가지 최신 기술 에이전트(Sequential-to-Sequence, Self-Monitoring, R2R-IL, R2R-RL)가 서브-지시어 모듈을 통합함으로써 성공률가 향상되었다.
• 성능이 가장 뛰어난 에이전트는 테스트 분할에서 44.1%의 성공률을 기록하여 다양한 모델 간 일관된 향상이 확인되었다.
• 이동 모듈의 F1 점수는 최대 0.331에 도달하여 서브-지시어 완료 감지에 향후 개선 여지가 있음을 시사한다.
• 간단하고 직접적인 서브-지시어(예: '계단을 내려가기', '침실에서 나가기')에 비해 복잡하거나 물체를 지칭하는 지시어에서 성능이 뚜렷이 열 劣하다.
• 목적지까지 평균 거리가 높은(예: 7.36m) 서브-지시어 클러스터는 조건부 동작이나 다수의 물체를 포함하는 지시어에서 기반 부족 현상이 뚜렷하게 나타났다.
• 서브-지시어의 계층적 클러스터링 분석 결과 빈도, 시점 수와 성능 간 강한 상관관계가 없었으며, 이는 지시어의 복잡성과 의미적 특성이 에이전트 성공도의 더 나은 예측 변수임을 시사한다.