[논문 리뷰] Topological Planning with Transformers for Vision-and-Language Navigation

Kevin Chen, Junshen K. Chen외 3명|arXiv (Cornell University)|2020. 12. 09.

Multimodal Machine Learning Applications참고 문헌 50인용 수 12

한 줄 요약

이 논문은 자연어 지시와 위상 맵을 기반으로 해석 가능한 탐색 계획을 생성하는 모듈러한 시각-언어 탐색 시스템을 제안한다. 이 시스템은 트랜스포머 기반의 다중모달 어텐션 메커니즘을 사용하여, 볼 수 있는 환경와 볼 수 없는 환경 모두에서 엔드 투 엔드 방법보다 뚜렷하게 뛰어난 성능을 보인다. 이 접근법은 계획 수립과 제어를 분리하여, 백트랙킹과 같은 지능적인 행동을 지원하는 저수준 제어기를 통해 강력한 실행을 가능하게 한다.

ABSTRACT

Conventional approaches to vision-and-language navigation (VLN) are trained end-to-end but struggle to perform well in freely traversable environments. Inspired by the robotics community, we propose a modular approach to VLN using topological maps. Given a natural language instruction and topological map, our approach leverages attention mechanisms to predict a navigation plan in the map. The plan is then executed with low-level actions (e.g. forward, rotate) using a robust controller. Experiments show that our method outperforms previous end-to-end approaches, generates interpretable navigation plans, and exhibits intelligent behaviors such as backtracking.

연구 동기 및 목표

• 자유 이동이 가능한 환경에서 엔드 투 엔드 시각-언어 탐색(VLN) 모델의 한계를 해결하기 위해.
• 비정형 메모리 대신 구조화된 위상 맵을 활용하여 탐색의 강건성과 해석 가능성 향상을 위해.
• 언어와 공간적 위상 표현 간의 다중모달 어텐션을 모델링하여 자연어 지시를 기반으로 효과적인 계획 수립을 가능하게 하기 위해.
• 고수준 계획과 저수준 제어를 분리하여 성능 향상과 고장 내성 향상을 위한 모듈러 시스템을 개발하기 위해.
• 위상 맵과 트랜스포머를 조합함으로써 백트랙킹 및 경로 수정과 같은 지능적인 행동이 가능함을 입증하기 위해.

제안 방법

• 시스템은 자연어 지시와 위상 맵을 기반으로 트랜스포머 기반의 다중모달 어텐션을 사용하여 위상 맵의 노드 시퀀스를 탐색 계획으로 예측한다.
• 계획기에서는 지시의 관련 부분과 위상 맵의 해당 공간 영역에 주의를 기울여 기호적 계획을 생성한다.
• 탐색 계획은 저수준 이산 동작(예: 전진, 회전)을 사용하고 이전 노드 기록을 유지하는 강력한 로컬 제어기를 통해 실행된다.
• 위상 맵는 에이전트가 자유 탐색을 마친 후 생성되며, 장소를 노드로, 연결성을 간선으로 표현하는 그래프 형태로 환경를 표현한다.
• 제어기는 현재 노드와 이전 노드를 입력으로 사용하여 계획된 경로에서 이탈했을 경우 백트랙킹이 가능하도록 한다.
• 전체 시스템은 VLN-CE 데이터셋을 사용하여 평가되었으며, 성능은 성공률(SR), SPL, 제어기/계획기 성공률(CS/PS)로 측정되었다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 계획기는 자연어 지시에서 유의미한 위상 맵 내 탐색 계획을 효과적으로 생성할 수 있는가?
• RQ2 위상 맵을 활용한 모듈러 접근법은 자유 이동 환경에서 엔드 투 엔드 VLN 모델 대비 탐색 성능을 향상시키는가?
• RQ3 에이전트가 계획된 경로에서 이탈했을 경우 제어기가 백트랙킹과 같은 강건한 행동을 학습할 수 있는가?
• RQ4 위상 맵의 사용은 VLN에서 탐색 공간을 어떻게 줄이고 효율성을 향상시키는가?
• RQ5 언어와 공간적 구조 간의 다중모달 어텐션은 계획 정확도를 어느 정도 향상시키는가?

주요 결과

• CMTP 모델은 VLN-CE 벤치마크에서 본 환경에서 37.9%의 성공률, 볼 수 없는 환경에서 36.3%의 성공률을 기록하여 엔드 투 엔드 VLN-CE 기준선을 능가했다.
• CMTP 모델은 볼 수 없는 환경에서 SPL(경로 길이에 가중된 성공률) 56.2%를 기록하여 엔드 투 엔드 기준선보다 뚜렷하게 높았다.
• 제어기는 랜덤 계획을 실행하는 데서도 볼 수 없는 환경에서도 80% 이상의 높은 성공률을 기록하여 저수준 제어의 강건성을 입증했다.
• 제어기 입력에 이전 노드를 포함시킴으로써 백트랙킹 행동이 가능해졌고, 이는 탐색 오류 복구를 가능하게 했다.
• 위상 맵과 다중모달 계획을 결합한 모듈러 시스템은 엔드 투 엔드 모델보다 뛰어난 성능을 보였으며, 특히 볼 수 없는 환경에서 두드러졌다.
• 정성적 결과는 에이전트가 체스보드에서 테이블에서 소파로 직접 이동하는 계획을 성공적으로 실행했으며, 이를 둘러싸는 경로를 피함을 보여주었다.