[논문 리뷰] Vision-and-Dialog Navigation

Jesse Thomason, Michael Murray외 2명|arXiv (Cornell University)|2019. 07. 10.

Multimodal Machine Learning Applications참고 문헌 38인용 수 118

한 줄 요약

협력 비전-대화 내비게이션(CVDN)을 도입: 현실감 있는 환경에서의 2050개의 인간-인간 대화 데이터 세트와 대화 이력을 이용한 내비게이션 과제(NDH) 평가를 시퀀스-투-시퀀스 기준으로 분석합니다. 더 긴 대화 이력과 혼합된 인간-계획자 감독이 목표를 향한 내비게이션 진행을 향상시킨다고 결론 내립니다.

ABSTRACT

Robots navigating in human environments should use language to ask for assistance and be able to understand human responses. To study this challenge, we introduce Cooperative Vision-and-Dialog Navigation, a dataset of over 2k embodied, human-human dialogs situated in simulated, photorealistic home environments. The Navigator asks questions to their partner, the Oracle, who has privileged access to the best next steps the Navigator should take according to a shortest path planner. To train agents that search an environment for a goal location, we define the Navigation from Dialog History task. An agent, given a target object and a dialog history between humans cooperating to find that object, must infer navigation actions towards the goal in unexplored environments. We establish an initial, multi-modal sequence-to-sequence model and demonstrate that looking farther back in the dialog history improves performance. Sourcecode and a live interface demo can be found at https://cvdn.dev/

연구 동기 및 목표

• 로봇 협업을 개선하기 위한 인간 환경에서의 대화 가능 내비게이션 연구를 자극한다.
• 내비게이션을 안내하는 양방향 자연어 대화의 크고 포토리얼한 데이터 세트를 제공한다.
• 대화 이력으로부터 내비게이션 행동을 추론하는 NDH(대화 이력에서의 내비게이션) 과제를 정의한다.
• 대화 맥락의 가치를 평가하기 위한 다중 모달_baseline 모델을 확립한다.
• 성능 향상을 위한 혼합 감독을 포함한 학습 신호를 탐구한다.

제안 방법

• Matterport Room-2-Room 환경에서 2050개의 인간-간 대화 데이터를 포함하는 Cooperative Vision-and-Dialog Navigation(CVDN)을 생성한다.
• NDH를 정의한다: 입력은 대상 객체와 대화 이력; 출력은 목표 영역으로의 내비게이션 행동이다.
• 대화 이력에 대해 LSTM 인코더를 사용하고, 시각 입력은 ResNet-152 기반 임베딩으로부터의 특징을 갖는 LSTM 디코더를 사용하는 시퀀스-투-시퀀스 모델을 사용한다.
• 다양한 대화 이력 길이와 감독 신호(Navigator-만, Oracle-만, 혼합 감독)로 실험한다.
• 거리는 목표까지의 남은 거리(distance-to-goal) 지표를 사용해 목표 영역으로의 진행을 평가하고, 최단 경로 및 무작위 에이전트를 포함한 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 NDH 과제에서 더 긴 대화 이력이 내비게이션 진행에 영향을 주는가?
• RQ2 혼합 인간-계획자 감독으로 학습하는 것이 NDH 성능에 미치는 영향은?
• RQ3 시퀀스-투-시퀀스 모델이 현실감 있는 환경에서 대화 이력을 효과적으로 내비게이션 행동으로 매핑할 수 있는가?
• RQ4 본_seen 및 unseen 환경에서 NDH 성능은 베이스라인과 어떻게 비교되는가?

주요 결과

• 더 긴 대화 이력은 보편적 입력이나 제한된 이력 입력에 비해 unseen 환경에서 내비게이션 진행을 현저히 향상시킨다.
• 혼합 감독(인간 시연과 계획자 지침의 결합)은 오르클 또는 내비게이터 감독만을 사용하는 것보다 일관되게 우수하다.
• 시퀀스-투-시퀀스 기준은 NDH에 대한 다중 모달 능력을 확립하며, 특히 unseen 환경에서 인간 성능에 비해 여지가 남아 있다.
• unseen 테스트 환경에서 단일 대상 객체나 마지막 QA 교환만 사용하는 것보다 전체 대화 이력을 사용할 때 성능이 우수하다.
• 대화 이력은 대화 맥락에서 적절한 내비게이션 행동으로의 매핑을 가능하게 하여 향후 강화학습(RL) 기반 개선을 지원한다.