[논문 리뷰] Mind the Gap: Improving Success Rate of Vision-and-Language Navigation by Revisiting Oracle Success Routes

Chongyang Zhao, Yuankai Qi외 1명|arXiv (Cornell University)|2023. 08. 07.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 시각-언어 탐색(Vision-and-Language Navigation)에서 오랫동안 간과되어 온 성공률(SR)과 오라클 성공률(OSR) 사이의 격차를 해결하기 위해, 사전에 생성된 에이전트 트레이젝터리에서 정확한 목표 위치를 식별하는 트레이젝터리 기반 접근법을 제안한다. 다중 모듈 트랜스포머 모델을 사용하여 시각적 포인트 표현을 학습함으로써, R2R에서 이 격차를 최대 9%에서 4.56%로 좁혀 성공률을 향상시키며, 탐색 정책을 재학습하지 않아도 상당한 성능 향상을 달성한다.

ABSTRACT

Vision-and-Language Navigation (VLN) aims to navigate to the target location by following a given instruction. Unlike existing methods focused on predicting a more accurate action at each step in navigation, in this paper, we make the first attempt to tackle a long-ignored problem in VLN: narrowing the gap between Success Rate (SR) and Oracle Success Rate (OSR). We observe a consistently large gap (up to 9%) on four state-of-the-art VLN methods across two benchmark datasets: R2R and REVERIE. The high OSR indicates the robot agent passes the target location, while the low SR suggests the agent actually fails to stop at the target location at last. Instead of predicting actions directly, we propose to mine the target location from a trajectory given by off-the-shelf VLN models. Specially, we design a multi-module transformer-based model for learning compact discriminative trajectory viewpoint representation, which is used to predict the confidence of being a target location as described in the instruction. The proposed method is evaluated on three widely-adopted datasets: R2R, REVERIE and NDH, and shows promising results, demonstrating the potential for more future research.

연구 동기 및 목표

• 시각-언어 탐색(Vision-and-Language Navigation, VLN)에서 성공률(SR)과 오라클 성공률(OSR) 사이의 지속적인 성능 격차를 해결하기 위해, 이는 이전 연구에서 간과되어 온 문제이다.
• 최신 VLN 에이전트가 목표 위치를 지나치지만 높은 OSR를 기록하는 이유를 탐구한다.
• 기존 VLN 모델이 생성한 트레이젝터리에서 정확한 목표 노드를 탐지함으로써 탐색 정책을 재학습하지 않고도 SR을 향상시키는 방법을 제안한다.
• R2R, REVERIE, NDH 등 여러 벤치마크에서 도메인 내 및 제로샷 설정 하에서 이 방법의 효과성을 평가한다.

제안 방법

• 목표 위치 탐지 문제를 비디오 기반 타겟 지도화(task)로 재정의하여, 자연어 지시에 기반해 트레이젝터리 내에서 목표 프레임(시점)을 국지화하는 것을 목표로 한다.
• 다중 모듈 트랜스포머 아키텍처를 제안하며, 원형 시점 처리를 위한 업경도 트랜스포머(E-Trans), 트레이젝터리 수준의 의존성 모델링을 위한 시공간 트랜스포머(S-T Trans), 목표 신뢰도 점수 예측을 위한 목표 선택 트랜스포머(T-Trans)로 구성된다.
• 다양한 시점과 시간 단계에서 관련된 시각적 및 텍스처적 신호에 주의를 기울임으로써, 트레이젝터리 시점의 압축되고 특징적인 표현을 학습한다.
• 클래스 불균형 문제를 다루고 정밀도를 향상시키기 위해 포칼 손실과 딱지 손실(dice loss)의 조합을 사용하여 모델을 훈련시키며, 추론 실험을 통해 손실 설계의 효과성을 확인하였다.
• 기존 VLN 에이전트의 트레이젝터리에 대해 후처리 모듈로 적용되어, 원래 정책을 수정하지 않고도 탐색 오류를 수정할 수 있다.
• 성능 향상과 제로샷 일반화 능력 향상을 위해 900개의 HM3D 환경에서 추가 데이터를 사용하여 모델을 사전 학습하였다.

실험 결과

연구 질문

• RQ1 최신 VLN 에이전트가 높은 오라클 성공률을 기록함에도 불구하고, SR과 OSR 사이에 상당한 격차가 존재하는 이유는 무엇인가?
• RQ2 사전에 학습된 VLN 에이전트가 생성한 트레이젝터리에서, 정확한 목표 위치를 신뢰성 있게 식별할 수 있는가? 특히 에이전트가 정확한 위치에서 멈추지 못하더라도 말이다.
• RQ3 다중 모듈 트랜스포머 기반 접근법은 자연어 지시와 시계열 원형 관측값에서 정확한 목표 시점을 탐지하는 데 얼마나 효과적인가?
• RQ4 보조 학습 데이터와 손실 함수의 조합이 목표 기반 탐지 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 R2R 검증용 unseen 분할에서 SR-OSR 격차를 7.96%에서 4.56%로 줄여 4.3%p의 절대적 향상을 달성하였다.
• 업경도 트랜스포머(E-Trans)가 성능 향상에 가장 기여하였으며, 그 다음으로 목표 선택 트랜스포머(T-Trans)가 영향을 미쳤고, 시공간 트랜스포머(S-T Trans)는 가장 작은 영향을 미쳤지만 여전히 의미 있는 기여를 하였다.
• 기존 데이터 외에 HM3D 환경에서 추가로 학습한 데이터를 사용할 경우, 기존 데이터만으로 학습한 경우 대비 SR이 2.17%p 향상되었으며, HM3D 데이터로만 학습된 모델은 R2R unseen에서 45.52%의 SR을 기록하였다.
• 포칼 손실과 딱지 손실의 조합이 가장 뛰어난 성능을 보였으며, BCE, 포칼, BCE+Dice와 비교해도 우월한 성능을 보여, 다중 예측의 동시 최적화가 정밀도 향상에 기여함을 시사한다.
• 추론 실험 결과, 하이퍼파라미터 조정이 성능에 미치는 영향이 미미하여, 손실 가중치 변화에 대해 방법이 높은 안정성을 가지는 것으로 나타났다.
• 정성적 결과를 통해, HOP, HAMT, DUET에서 생성된 트레이젝터리의 탐색 오류를 성공적으로 수정하여 에이전트가 정확한 목표 위치에서 멈출 수 있도록 했다.