[논문 리뷰] Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding

Alexander Ku, Peter Anderson외 3명|arXiv (Cornell University)|2020. 10. 15.

Multimodal Machine Learning Applications참고 문헌 42인용 수 14

한 줄 요약

이 논문은 3D 환경에서 말하기 지시어와 에이전트의 3D 자세 시퀀스 간 시간에 맞춰진 정밀한 시공간 기반을 갖춘 대규모 다국어 시각-언어 탐색 데이터셋인 Room-across-Room (RxR)을 소개한다. 각 지시어의 단어가 에이전트의 3D 자세 시퀀스와 시간적으로 정렬되어 있다. 이 데이터셋은 영어, 히ン두어, 텔루구어로 구성된 126,000개의 지시어를 포함하며, 인간 후속자 시연과 세밀한 시각 기반 정보를 제공함으로써 다중 작업 학습과 자세 인식 주의 메커니즘을 통해 단일 언어 및 다국어 에이전트 성능을 향상시키며, 새로운 환경에서 최신 기술 성능을 달성한다.

ABSTRACT

We introduce Room-Across-Room (RxR), a new Vision-and-Language Navigation (VLN) dataset. RxR is multilingual (English, Hindi, and Telugu) and larger (more paths and instructions) than other VLN datasets. It emphasizes the role of language in VLN by addressing known biases in paths and eliciting more references to visible entities. Furthermore, each word in an instruction is time-aligned to the virtual poses of instruction creators and validators. We establish baseline scores for monolingual and multilingual settings and multitask learning when including Room-to-Room annotations. We also provide results for a model that learns from synchronized pose traces by focusing only on portions of the panorama attended to in human demonstrations. The size, scope and detail of RxR dramatically expands the frontier for research on embodied language agents in simulated, photo-realistic environments.

연구 동기 및 목표

• 사진처럼 사실적인 3D 환경에서 다국어, 대규모, 세밀한 기반 정보가 있는 시각-언어 탐색 데이터셋의 부족을 해결하기 위해.
• R2R와 같은 기존 데이터셋에서 존재하는 경로 편향을 줄이기 위해 더 다양한 긴 탐색 경로를 도입하기 위해.
• 언어 지시어와 3D 시각적 자세 간의 정밀한 단어 수준의 시간-공간 정렬을 가능하게 하여 기반 정확도와 에이전트 성능을 향상시키기 위해.
• 자연스러운 탐색 행동에서 학습을 지원하기 위해 전체 자세 트레이스를 포함한 인간 후속자 시연을 제공하기 위해.
• 다양한 문체적 특성을 가진 언어(영어, 히누어, 텔루구어)를 포함하여 다국어 몸체 언어 이해 연구를 촉진하기 위해, 원어민이 생성한 지시어를 제공하기 위해.

제안 방법

• RxR 데이터셋은 미국(영어-미국), 인도(영어-인도), 텔루구어 사용 지역의 원어민을 활용하여 세 언어로 원천 탐색 지시어를 생성한다.
• 가이드가 Matterport3D 환경에서 정해진 경로를 따라 이동하면서 지시어를 말하고, 이후 전용 애너테이션 도구를 사용해 해당 지시어를 3D 자세 시퀀스와 시간적으로 정렬한다.
• 각 지시어 단어는 특정 가상 자세와 풍경 사진의 특정 영역과 연결되어 있어, 단어 수준에서의 정밀한 시공간 기반을 가능하게 한다.
• 후속자 시연은 인간 참가자가 가이드의 시점에서 동일한 지시어를 따라가며 전체 3D 자세 트레이스를 기록함으로써 수집된다.
• 기본 모델은 다중 모odal 주의 메커니즘을 적용한 개조된 강화된 교차 모odal 매칭 에이전트를 사용하여 훈련하고, 단일 언어 및 다국어 설정에서 평가된다.
• 다중 작업 학습은 RxR와 R2R 데이터를 함께 훈련하여 적용하며, 시각 및 언어 모odal의 기여도를 평가하기 위한 분석 연구를 실시한다.

실험 결과

연구 질문

• RQ1 어떻게 단어 수준의 정밀한 시공간 기반 기술이 일반화나 기반 없음과 비교하여 시각-언어 탐색 성능을 향상시키는가?
• RQ2 다양한 언어(영어, 히누어, 텔루구어)에서의 다국어 미리 학습이 시각-언어 탐색에서 제로샷 일반화 및 내성 강도를 얼마나 향상시키는가?
• RQ3 지시어를 해석하는 데 인간이 사용하는 방식을 반영한 후속자 시연 경로가 가이드 경로만을 사용할 때보다 에이전트 훈련과 일반화를 향상시키는가?
• RQ4 RxR와 R2R 데이터를 결합한 다중 작업 학습은 얼마나 효과적인가? 두 데이터셋 간의 전이 학습 역학은 어떠한가?
• RQ5 다국어 VLN에서 에이전트 성능에 대해 시각과 언어 모달 간의 상대적 기여도는 얼마이며, 기반 감독과의 상호작용은 어떻게 되는가?

주요 결과

• RxR에서 훈련된 다국어 에이전트는 RxR 테스트-표준 분할에서 77.2%의 성공률을 기록하여 무작위 기준(0.7%)을 크게 뛰어넘고 인간 성능(90.2%)에 가까워졌다.
• RxR와 R2R 데이터를 함께 훈련한 다중 작업 학습은 모든 지표에서 성능 향상을 이끌었으며, 두 데이터셋 모두 최고의 결과를 기록하여 상호 보완적인 데이터 유용성을 입증했다.
• 후속자 시연 경로를 사용할 경우 가이드 경로만 사용하는 것보다 에이전트 성능이 향상되었으며, 인간의 지시어 해석 패턴이 훈련에 유용함을 시사한다.
• 시공간 기반 감독을 통한 시각 주의 메커니즘은 혼합된 결과를 보였다: NDTW 및 NE 점수는 향상되었지만, 새로운 환경에서의 성공 기반 지표는 악화되었다. 이는 복잡한 상충 관계가 있음을 시사한다.
• 언어 전용 에이전트가 시각 전용 에이전트를 능가했으며, '좌회전'이나 '계단을 올라가'와 같은 언어적 단서가 시각 입력 없이도 의미 있는 탐색 정보를 제공함을 시사한다.
• 분석 연구를 통해 시각과 언어 모달 모두가 최적 성능을 내기 위해 필수적임을 확인했으며, 다중 모달 모델은 단일 모달 기반 모델보다 유의미하게 뛰어난 성능을 보였다.