[논문 리뷰] Translating Navigation Instructions in Natural Language to a High-Level Plan for Behavioral Robot Navigation

Xiaoxue Zang, Ashwini Pokle외 5명|arXiv (Cornell University)|2018. 09. 24.

Multimodal Machine Learning Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 환경의 토폴로지적 지ap을 지식 기반으로 사용하여 자유형 자연어 주행 지시어를 고수준 행동 주행 계획으로 번역하는 엔드 투 엔드 딥 러닝 모델을 제안한다. 어텐션 메커니즘을 통해 지시어와 지도 간의 정렬을 수행하며, 새로운 11,051개의 지시-계획 쌍으로 구성된 데이터셋에서 베이스라인 모델들을 능가한다. 이는 토폴로지적 지도가 자연어 주행 명령어를 지도하는 데 효과적인 지식 기반으로 기능할 수 있음을 보여준다.

ABSTRACT

We propose an end-to-end deep learning model for translating free-form natural language instructions to a high-level plan for behavioral robot navigation. We use attention models to connect information from both the user instructions and a topological representation of the environment. We evaluate our model's performance on a new dataset containing 10,050 pairs of navigation instructions. Our model significantly outperforms baseline approaches. Furthermore, our results suggest that it is possible to leverage the environment map as a relevant knowledge base to facilitate the translation of free-form navigational instruction.

연구 동기 및 목표

• 복잡한 환경에서 로봇이 자유형 자연어 주행 지시어를 이해할 수 있도록 하는 것.
• 인간의 경로 기술에서 발생하는 높은 변동성과 모호성 문제를 해결하는 것.
• 환경의 토폴로지적 구조를 활용하여 자연어를 실행 가능한 고수준 주행 계획으로 매핑하는 엔드 투 엔드 모델을 개발하는 것.
• 모델이 새로운 지시어와 미리보지 않은 환경으로의 일반화 능력을 갖추고 있는지 평가하는 것.
• 행동 기반 로봇 주행을 위한 새로운 대규모 데이터셋(11,051개의 지시-계획 쌍)을 기여하는 것.

제안 방법

• 모델는 입력 자연어 지시어와 행동 주행 그래프 간의 정렬을 위해 자기 어텐션 메커니즘을 사용하는 인코더-디코더 아키텍처를 사용한다.
• 행동 주행 그래프는 노드; 간선; 노드⟩의 삼중조 집합으로 표현되며, 여기서 노드는 의미적 위치이고 간선은 시각-운동 행동이다.
• 디코더는 각 단계에서 지시어 임bedding에 따라 관련된 그래프 부분에 주의를 기울이며 주행 행동의 시퀀스를 생성한다.
• 정확한 행동 시퀀스를 예측하기 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 모델이 예측 중에 관련된 환경 세그먼트에 어떻게 집중하는지 분석하기 위해 어텐션 가중치를 시각화한다.
• Mechanical Turk를 활용하여 100개의 시뮬레이션 환경과 해당 토폴로지적 지도를 사용해 새로운 11,051개의 지시-계획 쌍 데이터셋을 수집하였다.

실험 결과

연구 질문

• RQ1 토폴로지적 지도를 지식 기반으로 사용하여 엔드 투 엔드 신경망 모델이 자연어 주행 지시어를 고수준 행동 계획으로 효과적으로 지도할 수 있는가?
• RQ2 모델은 알려진 환경에서 새로운 지시어에 대해 얼마나 잘 일반화되는가? 그리고 완전히 새로운 환경에 대해서도 마찬가지로 성능을 유지하는가?
• RQ3 어떻게 어텐션 메커니즘이 계획 예측 중에 관련된 환경 세그먼트에 집중하는 데 기여하는가?
• RQ4 모델은 최단 경로가 아닌 경로를 올바르게 예측할 수 있는가? 이는 단순히 최단 경로를 암기하고 있는 것이 아니라 지시어 의미에 따라 동작하고 있음을 시사한다.
• RQ5 토폴로지적 지도를 사용하지 않는 기존의 베이스라인 접근 방식과 비교해 본다면, 제안된 모델은 어떤가?

주요 결과

• 제안된 모델은 두 단계 베이스라인 접근 방식과 그래프 어텐션 없이 순서-순서 모델보다 새로운 데이터셋에서 모두 뛰어난 성능을 보였다.
• 자연어 지시어를 고수준 주행 계획으로 변환하는 데 있어 최신 기술 성능을 달성하였다.
• 어텐션 시각화 결과 모델이 동적으로 관련된 환경 삼중조에 주의를 기울이며, 주행 단계에 해당하는 국소화된 어텐션 패턴을 보였다.
• 모델은 최적 경로가 아닌 경로도 성공적으로 예측하여, 단순히 최단 경로를 암기하고 있는 것이 아니라 지시어의 의미적 정보에 따라 동작하고 있음을 확인하였다.
• 모델는 알려진 환경에서 새로운 지시어에 대해 효과적으로 일반화되었으며, 자연어 표현의 다양성에 대해 뛰어난 내성성을 보였다.
• 11,051개의 지시-계획 쌍을 포함한 새로운 데이터셋의 기여로 향후 데이터 기반 주행 지도 연구에 기여할 수 있게 되었다.