[논문 리뷰] CrossMap Transformer: A Crossmodal Masked Path Transformer Using Double Back-Translation for Vision-and-Language Navigation

Aly Magassouba, Komei Sugiura외 1명|arXiv (Cornell University)|2021. 03. 01.

Multimodal Machine Learning Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 언어 지시문으로부터 경로를 생성하고 예측된 경로에서 지시문을 재구성하는 双방향 번역(DBT) 기반 메커니즘을 사용하여 시각-언어 탐색을 동시에 학습하는 CrossMap Transformer(CMT)를 제안한다. 경로 생성기와 화자 네트워크 간에 잠재 특징을 공유함으로써 CMT는 교차 모odal 정렬을 향상시켜 R2R 벤치마크에서 최신의 LSTM 기반 방법과 유사한 성능을 달성한다.

ABSTRACT

Navigation guided by natural language instructions is particularly suitable for Domestic Service Robots that interacts naturally with users. This task involves the prediction of a sequence of actions that leads to a specified destination given a natural language navigation instruction. The task thus requires the understanding of instructions, such as ``Walk out of the bathroom and wait on the stairs that are on the right''. The Visual and Language Navigation remains challenging, notably because it requires the exploration of the environment and at the accurate following of a path specified by the instructions to model the relationship between language and vision. To address this, we propose the CrossMap Transformer network, which encodes the linguistic and visual features to sequentially generate a path. The CrossMap transformer is tied to a Transformer-based speaker that generates navigation instructions. The two networks share common latent features, for mutual enhancement through a double back translation model: Generated paths are translated into instructions while generated instructions are translated into path The experimental results show the benefits of our approach in terms of instruction understanding and instruction generation.

연구 동기 및 목표

• 언어 지시문에서 경로 생성기와 언어 화자 네트워크를 동시에 학습시켜 시각-언어 탐색 성능을 향상시키기.
• 실내 탐색 작업에서 모호하고 긴 형식의 언어 지시문 문제를 해결하기.
• 개선된 교차 모달 특징 학습을 통해 신경망 모델과 인간 수준의 탐색 간 성능 격차를 줄이기.
• 이중 역번역을 통한 데이터 증강을 활용해 미리 보지 않은 환경에서의 일반화 능력을 향상시키기.
• 지시문-환경 관계 모델링을 위해 경로 마스킹과 교차 모달 어텐션의 효과를 평가하기.

제안 방법

• CrossMap Transformer는 트랜스포머 기반 아키텍처를 사용하여 언어적 및 시각적 특징을 인코딩하고, 순차적으로 탐색 동작을 생성한다.
• 학습 중에 경로 마스킹을 적용하여 모델이 각 단계에서 관련된 시각적 및 언어적 신호에 집중하도록 유도한다.
• 이중 역번역(DBT) 메커니즘을 사용하여 상호 감독을 통해 CrossMap Transformer와 CrossMap 화자 네트워크를 동시에 학습시킨다.
• DBT에서는 예측된 동작 시퀀스를 자연어 지시문으로 번역하고, 생성된 지시문을 사용해 동작 경로를 재구성함으로써 자기 지도 학습 루프를 생성한다.
• 경로 생성기와 화자 네트워크 간에 공유된 잠재 특징을 통해 언어 이해와 경로 정책 학습이 상호 보완적으로 향상된다.
• 표준 평가 지표인 성공률(SR), SPL, 오라클 성공률(OSR)을 사용하여 Room-to-Room(R2R) 데이터셋에서 모델을 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 언어 화자 네트워크와 함께 동시에 학습될 때, 트랜스포머 기반 아키텍처가 순환 네트워크를 능가할 수 있는가?
• RQ2 이중 역번역(DBT)이 언어와 시각적 경로 간의 교차 모달 정렬을 어떻게 향상시키는가?
• RQ3 경로 마스킹이 모델의 환경 및 언어적 특징에 대한 집중 능력을 얼마나 향상시키는가?
• RQ4 경로 생성기와 화자 네트워크의 공동 학습이 새로운 환경에서의 일반화 능력을 향상시키는가?
• RQ5 표준 캡션 평가 지표와 SPICE는 시각-언어 탐색을 위한 지시문 생성 품질 평가에서 어떻게 비교되는가?

주요 결과

• CMT 모델은 볼 수 있는 R2R 분할에서 성공률(SR) 0.64, 볼 수 없는 분할에서 0.50을 기록하여 기준 CMT-type1 모델(SR: 0.59 및 0.48)을 초월했다.
• 이중 역번역(DBT) 적용으로 볼 수 있는 분할에서 SPL이 0.51(CMT-type1)에서 0.53으로 향상되었고, 볼 수 없는 분할에서는 0.35에서 0.38로 상승했다.
• 제거 분석 결과, 경로 마스킹과 DBT 모두 성능 향상에 기여했으며, 특히 볼 수 없는 환경에서의 일반화 능력 향상에서 DBT가 가장 큰 기여를 했다.
• CMT(BT-only) 버전은 Speaker-Follower 및 EnvDrop보다 더 우수한 일반화 능력을 보였으며, 이는 VLN 작업에서 트랜스포머 기반 디코더의 유용성을 시사한다.
• 지시문 생성 측면에서 CMT는 SPICE 점수 21.9를 기록하여 Speaker-Follower(19.2)와 CMS-type1(20.9)을 모두 능가했지만, BLEU-4와 CIDEr 점수는 낮았다.
• 정성적 분석 결과, 대부분의 경우 모델은 랜드마크 간의 관계를 올바르게 모델링했지만, 여러 개의 테이블처럼 서로 유사한 시각적 객체나 먼 랜드마크에 대해 도전 과제를 보였다.