[논문 리뷰] Learning to Map Natural Language Instructions to Physical Quadcopter Control using Simulated Flight

Valts Blukis, Yannick Terme외 3명|arXiv (Cornell University)|2019. 10. 21.

Multimodal Machine Learning Applications참고 문헌 43인용 수 26

한 줄 요약

이 논문은 자연어 지시와 제1인칭 시각 관측을 연속적인 드론 제어로 매핑하는 통합 시뮬레이션 및 실세계 학습 프레임워크인 SuReAL을 제안한다. 방문 가능성 예측을 위한 지도학습과 제어를 위한 강화학습을 결합함으로써, 물리적 드론이 복잡하고 장시간 지속되는 자연어 내비게이션 지시를 효과적인 탐색과 부분 관측에 대한 강건성으로 따라가도록 한다. 학습 중 자율 비행이 필요 없이 성공적인 실행을 달성한다.

ABSTRACT

We propose a joint simulation and real-world learning framework for mapping navigation instructions and raw first-person observations to continuous control. Our model estimates the need for environment exploration, predicts the likelihood of visiting environment positions during execution, and controls the agent to both explore and visit high-likelihood positions. We introduce Supervised Reinforcement Asynchronous Learning (SuReAL). Learning uses both simulation and real environments without requiring autonomous flight in the physical environment during training, and combines supervised learning for predicting positions to visit and reinforcement learning for continuous control. We evaluate our approach on a natural language instruction-following task with a physical quadcopter, and demonstrate effective execution and exploration behavior.

연구 동기 및 목표

• 실세계 환경에서 물리적 드론의 연속 제어에 자연어 내비게이션 지시를 매핑하는 과제를 해결하기 위해.
• 학습 중 비용이 많이 들고 시간이 오래 소요되는 실세계 자율 비행 데이터 수집에 대한 의존도를 줄이기 위해.
• 목표 위치가 관측되지 않은 상태에 대한 에이전트의 믿음 표현을 명시적으로 모델링하여 지시 따르기에서의 부분 관측성과 불확실성에 대한 강건성을 향상시키기 위해.
• 언어, 시각, 제어를 동시에 고려하는 통합 신경망 모델을 통해 효과적인 탐색과 목표 지향적 행동을 가능하게 하기 위해.
• 원시 제1인칭 이미지와 자세 추정치를 연속 제어로 매핑하는 첫 번째 물리적 드론 시스템을 구현하기 위해.

제안 방법

• 모델은 이중 단계 아키텍처를 사용한다: 지시 실행 중 위치의 방문 가능성 확률을 예측한 후, 연속 제어 명령(속도 및 요우 속도)을 생성한다.
• 지도강화비동기학습(SuReAL)은 방문 가능성 예측 헤드를 지도학습으로, 제어 정책을 강화학습으로 학습하며, 비동기적 파라미터 업데이트를 수행한다.
• 목표가 관측 가능하다는 믿음을 장려하고, 목표가 아직 관측되지 않은 상태에서 과도하게 작업을 완료하는 것을 방지하기 위해 내재 보상 신호를 도입한다.
• 세분화된 지도와 특징 맵을 사용해 시각적 및 공간 정보를 인코딩하며, 믿음 표현은 목표 존재 가능성의 가능도를 추적한다.
• 데이터 효율적인 학습을 위해 시뮬레이션 환경을 활용하고, 물리적 배포를 위해 Vicon 기반 자세 추정 시스템을 사용한다.
• 강화학습은 근접 정책 최적화(PPO)를 사용하며, 인식, 기반, 언어 이해를 위한 보조 손실을 추가해 학습 안정성을 높인다.

실험 결과

연구 질문

• RQ1 원시 자연어 지시와 제1인칭 시각 관측을 실세계 환경에서 연속 제어로 효과적으로 매핑할 수 있는 통합 딥러닝 모델이 존재하는가?
• RQ2 복잡한 실세계 로봇 제어 과제에서 제한된 인간 레이블링 언어 데이터를 어떻게 효율적으로 활용할 수 있는가?
• RQ3 시뮬레이션 환경을 얼마나 잘 활용해 학습한 정책이 자율 비행 없이도 실세계 물리적 비행으로 일반화할 수 있는가?
• RQ4 부분 관측성과 지시 따르기에서의 불확실성을 명시적인 믿음 표현을 통해 어떻게 모델링하고 해결할 수 있는가?
• RQ5 실세계 내비게이션 과제에서 방문 가능성 예측을 위한 지도학습과 제어를 위한 강화학습을 결합했을 때 성능 향상은 어느 정도인가?

주요 결과

• 제안된 SuReAL 프레임워크는 학습 중 자율 비행이 필요 없이 실세계 환경에서 장시간 지속되는 자연어 내비게이션 지시를 물리적 드론이 성공적으로 따르도록 한다.
• 목표 위치가 관측되지 않은 상태에 대한 에이전트의 믿음 표현을 명시적으로 모델링함으로써 효과적인 탐색과 목표 지향적 행동을 달성하며, 부분 관측성에 대한 강건성이 향상된다.
• 방문 가능성 예측에 지도학습을 사용함으로써 순수 강화학습 접근법에 비해 샘플 효율성과 작업 성능이 크게 향상된다.
• 다양한 지시에 대해 안정적이고 신뢰할 수 있는 실행 성능을 보이며, 인간 평가를 통해 의미적 정확성과 작업 성공률이 확인되었다.
• 시뮬레이션과 실세계 학습을 통합한 SuReAL은 표준 sim-to-real 보정보다 우수한 도메인 전이 성능을 보이며, 특히 복잡한 궤적과 애매한 지시를 처리하는 데서 뛰어난 성능을 보였다.
• 모델은 중간 정도의 자세 추정 노이즈에 대해 내성적 강건성을 보이며, 지연되거나 잘못된 자세-이미지 쌍에 대해 복구할 수 있어 실세계 배포에서 실용적인 강건성을 입증한다.