[논문 리뷰] Diagnosing Vision-and-Language Navigation: What Really Matters

Wanrong Zhu, Yuankai Qi외 7명|arXiv (Cornell University)|2021. 03. 30.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 제어된 아블레이션 연구를 통해 시각-언어 탐색(VLN) 에이전트를 진단하여 실내 에이전트가 지시문의 물체와 방향을 모두 의존하는 반면, 실외 에이전트는 방향 정보에 과도하게 의존한다는 점을 밝혀냈다. 트랜스포머 기반 모델은 교차 모odal 정렬과 수치적 추론에서 뛰어난 성능을 보였지만, 시각과 언어 간의 균형 잡히지 않은 주의력이 주장된 시각-언어 정렬을 약화시킨다.

ABSTRACT

Vision-and-language navigation (VLN) is a multimodal task where an agent follows natural language instructions and navigates in visual environments. Multiple setups have been proposed, and researchers apply new model architectures or training techniques to boost navigation performance. However, there still exist non-negligible gaps between machines' performance and human benchmarks. Moreover, the agents' inner mechanisms for navigation decisions remain unclear. To the best of our knowledge, how the agents perceive the multimodal input is under-studied and needs investigation. In this work, we conduct a series of diagnostic experiments to unveil agents' focus during navigation. Results show that indoor navigation agents refer to both object and direction tokens when making decisions. In contrast, outdoor navigation agents heavily rely on direction tokens and poorly understand the object tokens. Transformer-based agents acquire a better cross-modal understanding of objects and display strong numerical reasoning ability than non-Transformer-based agents. When it comes to vision-and-language alignments, many models claim that they can align object tokens with specific visual targets. We find unbalanced attention on the vision and text input and doubt the reliability of such cross-modal alignments.

연구 동기 및 목표

• 결정 과정 중 다중 모달 입력을 어떻게 해석하는지 시각-언어 탐색 에이전트를 연구한다.
• 에이전트가 탐색 중 지시문의 물체, 방향, 수치적 신호에 얼마나 의존하는지 확인한다.
• 최신 모델이 주장하는 시각-언어 정렬의 신뢰성을 평가한다.
• 실내(R2R, RxR)와 실외(Touchdown) 탐색 환경 간 에이전트 행동의 차이를 진단한다.
• 특히 트랜스포머 아키텍처가 교차 모달 이해와 추론에 미치는 영향을 평가한다.

제안 방법

• 지시문의 물체, 방향, 수치 토큰을 마스킹하거나 교체하여 반사적 간섭을 시행한다.
• 환경 내 물체 영역을 동적으로 마스킹하거나 시점 이미지를 뒤집는 시각적 편향을 적용한다.
• 간섭 후 탐색 성공률의 감소를 측정하여 특정 입력 모달에 대한 에이전트 의존도를 유추한다.
• R2R, RxR, Touchdown 데이터셋에서 트랜스포머 기반 에이전트(예: BERT 기반)와 비-트랜스포머 기반 베이스라인을 비교한다.
• 아블레이션 설정: 시각적 물체의 동적 마스킹, 제어된 시험, 전체 토큰 마스킹을 통해 모달 의존도를 분리한다.
• 물체 토큰을 교체했을 때와 마스킹했을 때의 성능 저하를 비교하여 시각-언어 정렬을 평가한다. 정렬이 존재한다는 가정 하에 토큰 변경에 민감해야 한다.

실험 결과

연구 질문

• RQ1 VLN 에이전트가 탐색 중 지시문의 물체 토큰과 방향 토큰을 얼마나 의존하는가?
• RQ2 입력 편향에 반응하여 실내와 실외 환경 간 VLN 에이전트의 성능은 어떻게 달라지는가?
• RQ3 트랜스포머 기반 에이전트는 비-트랜스포머 모델보다 더 강한 교차 모달 이해와 수치적 추론 능력을 보이는가?
• RQ4 최신 VLN 모델에서 주장하는 시각-언어 정렬은 신뢰할 수 있는가, 아니면 언어나 시각에 대해 주의력이 불균형한가?
• RQ5 물체를 시각적으로 마스킹했을 때와 텍스트적으로 마스킹했을 때 에이전트의 반응은 어떻게 다른가, 그리고 이는 모달 주의력에 대해 무엇을 드러내는가?

주요 결과

• 실내 탐색 에이전트는 의사결정 과정에서 물체와 방향 토큰을 모두 사용하며, 지시문의 물체 토큰을 마스킹했을 때 성능이 최대 36% 감소한다.
• 실외 탐색 에이전트는 방향 토큰에 크게 의존하며, 물체 토큰을 교체해도 성능 저하가 미미(10% 이하)하여 물체 이해가 열악하다는 것을 시사한다.
• 트랜스포머 기반 에이전트는 더 강한 수치적 추론 능력을 보이며, R2R에서 수치 토큰을 마스킹했을 때 성공률이 21% 감소하는 반면, 비-트랜스포머 모델은 그보다 낮은 감소율을 보인다.
• 강력한 시각-언어 정렬을 주장하지만, 시각적 물체 마스킹은 5–13%의 성능 저하만 일으키는 반면, 텍스트적 물체 교체 시에는 20–48%의 감소가 발생하여 언어 쪽에 주의력이 불균형하다는 것을 시사한다.
• 지시문에 언급된 모든 시각적 물체를 마스킹한 후에도 R2R에서는 성공률이 44% 이상, RxR-en에서는 32% 이상 유지되어 신뢰할 수 있는 시각적 기반의 가정에 위배된다.
• 물체 토큰을 교체했을 때 성능 저하가 빛나는 반면, 시각적 마스킹 시에는 성능 저하가 덜한 것으로 나타나, 시각-언어 정렬이 탄탄하지 않으며 표면적인 수준일 수 있음을 시사한다.