[논문 리뷰] Mapping Navigation Instructions to Continuous Control Actions with Position-Visitation Prediction

Valts Blukis, Dipendra Misra외 2명|arXiv (Cornell University)|2018. 11. 10.

Multimodal Machine Learning Applications인용 수 44

한 줄 요약

논문은 자연어 지시와 관찰을 연속적인 쿼드콥터 제어로 매핑하는 두 단계 신경망 모델을 제시하며, 위치 방문 분포를 예측한 다음 모방 학습으로 계획을 실행한다.

ABSTRACT

We propose an approach for mapping natural language instructions and raw observations to continuous control of a quadcopter drone. Our model predicts interpretable position-visitation distributions indicating where the agent should go during execution and where it should stop, and uses the predicted distributions to select the actions to execute. This two-step model decomposition allows for simple and efficient training using a combination of supervised learning and imitation learning. We evaluate our approach with a realistic drone simulator, and demonstrate absolute task-completion accuracy improvements of 16.85% over two state-of-the-art instruction-following methods.

연구 동기 및 목표

• 연속 환경에서 자연어 내비게이션 지시를 따르는 과제를 해결한다.
• 환경 위치에 대한 해석 가능한 방문 분포를 얻는 모델을 개발한다.
• 계획과 실행을 두 단계로 분해하여 샘플 효율적인 학습을 달성한다.
• 현실적인 쿼드콥터 시뮬레이터에서 최첨단 지시 따르기 방법 대비 향상을 시연한다.

제안 방법

• 이중 단계 모델: 방문 예측 및 계획 실행.
• Stage 1은 언어 및 관찰로부터 학습된 의미 맵에서 trajectory-visitation 및 goal-visitation 분포를 예측한다.
• LingUNet 기반의 이미지-투-이미지 생성이 의미 맵과 grounding cue를 방문 분포로 변환한다.
• Stage 2는 분포를 자가좌표계로 변환하고 STOP 헤드를 갖는 작은 신경망 컨트롤러를 사용하여 행동 선택을 수행한다.
• Training: Stage 1은 전문가 시연으로 감독 학습을 사용하여 예측 분포와 전문가 분포 사이의 KL 발산을 최소화; Stage 2는 분포를 행동으로 매핑하기 위해 모방 학습(DAggerFM)을 사용한다.
• Auxiliary losses (percept, ground, lang) bias 구성요소를 perception 및 language grounding에 특화시키기 위해 사용한다.

실험 결과

연구 질문

• RQ1 모델이 현실적인 드론 시뮬레이터에서 자연어 내비게이션 지시와 원시 관찰을 연속 제어 동작으로 매핑할 수 있는가?
• RQ2 예측된 위치 방문 분포가 실행을 위한 해석 가능하고 효과적인 계획을 제공하는가?
• RQ3 계획과 실행을 감독 학습과 모방 학습으로 분리하는 것이 샘플 효율성 및 과제 성공에 도움이 되는가?
• RQ4 현실적인 언어 및 환경에 비해 기존의 연속 동작 방법과 비교했을 때 이 접근법이 얼마나 확장되는가?

주요 결과

• PVN은 두 번째로 좋은 시스템(GSMN) 대비 절대 과제 완료율을 16.85% 향상시켰다.
• PVN은 GSMN 대비 중앙값 정지 거리에서 32.3%, 평균 정지 거리에서 12.7% 향상을 보인다.
• 변형 실험에서 보조 손실 및 목표 방문 구성요소가 성능에 중요하며 이를 제거하면 결과가 저하된다.
• 모방 학습은 성능에 유의미하게 기여하며, DAgger를 사용하지 않는 일부 설정에서 더 적은 성능 저하를 보인다.
• 모델은 중간 정도의 테스트 시 시각적 및 동역학적 변화에 대해 강건함을 유지한다.