[논문 리뷰] Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information

Jialu Li, Hao Tan외 1명|arXiv (Cornell University)|2021. 04. 19.

Multimodal Machine Learning Applications참고 문헌 41인용 수 4

한 줄 요약

이 논문은 자연어 지시어와 시각적 환경 간의 다중모odal 정렬을 향상시키기 위해 자식합 트리-LSTM를 통해 의존성 트리 구조를 활용하는 문법 인식 시각-언어 탐색 에이전트를 제안한다. 어휘 수준의 문법 정보를 인코딩함으로써, 이 모델은 다국어 Room-Across-Room 데이터셋에서 최신 기준 성능을 달성하며, 특히 제로샷 설정에서 새로운 환경으로의 일반화 능력을 크게 향상시킨다.

ABSTRACT

Vision language navigation is the task that requires an agent to navigate through a 3D environment based on natural language instructions. One key challenge in this task is to ground instructions with the current visual information that the agent perceives. Most of the existing work employs soft attention over individual words to locate the instruction required for the next action. However, different words have different functions in a sentence (e.g., modifiers convey attributes, verbs convey actions). Syntax information like dependencies and phrase structures can aid the agent to locate important parts of the instruction. Hence, in this paper, we propose a navigation agent that utilizes syntax information derived from a dependency tree to enhance alignment between the instruction and the current visual scenes. Empirically, our agent outperforms the baseline model that does not use syntax information on the Room-to-Room dataset, especially in the unseen environment. Besides, our agent achieves the new state-of-the-art on Room-Across-Room dataset, which contains instructions in 3 languages (English, Hindi, and Telugu). We also show that our agent is better at aligning instructions with the current visual information via qualitative visualizations. Code and models: https://github.com/jialuli-luka/SyntaxVLN

연구 동기 및 목표

• 시각-언어 탐색에서 자연어 지시어와 시각적 환경 간의 다중모달 정렬을 향상시키기 위해.
• 의존성 트리에서 유도된 문법 정보가 지상화 및 탐색 성능 향상에 기여하는지 조사하기 위해.
• 어휘 수준의 과적합을 줄이고 새로운 환경에서의 제로샷 일반화 능력을 향상시키기 위해.
• 지시어 이해를 향상시키기 위해 어휘 수준의 구조를 포괄하는 문법 인식 인코더를 개발하기 위해.
• 다국어 및 제로샷 일반화 벤치마크에서의 성능을 평가하기 위해.

제안 방법

• 모델은 자연어 지시어를 구조화하기 위해 의존성 파싱 트리를 사용하여 단어 간의 문법적 관계를 추출한다.
• 의존성 트리 위에 자식합 트리-LSTM를 적용하여 지시어의 문법 인식 문맥 표현을 생성한다.
• 문법 인식 지시어 인코딩은 교차 어텐션 메커니즘을 통해 시각적 특징과 융합되어 지상화를 향상시킨다.
• 행동 예측이 정렬된 시각-언어 특징에 조건화된 채로, 탐색 정책은 일관성 학습을 통해 종단 간(end-to-end)으로 훈련된다.
• 이 방법은 Room-to-Room(R2R) 및 Room-Across-Room(RxR) 데이터셋 모두에서 평가되었으며, 다국어 설정을 포함한다.
• 구현 변형으로는 의존성 트리에 대한 평균 풀링과 구성 트리를 사용하여, 문법적 구조 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 의존성 트리 기반의 문법적 구조가 시각-언어 탐색에서 다중모달 정렬을 향상시키는가?
• RQ2 어휘 수준의 문법 정보를 통합함으로써 새로운 환경에서의 일반화 능력이 향상되는가?
• RQ3 정확성과 해석 가능성 측면에서 문법 인식 표현은 어휘 수준 어텐션과 비교해 어떻게 다른가?
• RQ4 다국어 지시어 수행 작업에서 문법 정보는 어느 정도 성능 향상에 기여하는가?
• RQ5 문법 정보의 이점은 자원이 적은 언어에서 의존성 파서의 품질에 의존하는가?

주요 결과

• 제안된 문법 인식 모델은 제출 당시 기준으로 다국어 Room-Across-Room(RxR) 데이터셋에서 새로운 최고 성능을 달성했다.
• R2R 데이터셋에서, 새로운 환경에서 성공률이 3.5% 향상되어 제로샷 일반화 능력이 뛰어나다는 것을 입증했다.
• RxR에서 영어는 0.7% 향상되었고, 텔루구어는 0.1% 향상되었으며, 히누어에서는 가장 큰 성과를 기록하여 파서 품질이 성능에 영향을 준다는 것을 시사했다.
• 정성적 분석을 통해 문법 인식 에이전트가 지시어 어절을 시각적 환경와 더 잘 정렬함을 확인했으며, 예를 들어 '선반을 지나서 걷기'와 '차고에서 나가기'를 별개의 탐색 단계로 식별하는 데 성공했다.
• 제거 분석 결과, 의존성 트리에 대한 평균 풀링은 성능을 약 3% 감소시키며, 구성 트리는 성공률을 약 2% 낮춘다. 이는 의존성 트리가 더 효과적임을 시사한다.
• 모델는 어휘 수준 과적합을 줄이고, 더 해석 가능한 어휘 수준의 정렬을 학습하며, 이는 시각적 어텐션 맵을 통해 뒷받침된다.