[논문 리뷰] FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning

Pararth Shah, Marek Fišer외 3명|arXiv (Cornell University)|2018. 05. 16.

Multimodal Machine Learning Applications참고 문헌 7인용 수 43

한 줄 요약

FollowNet은 멀티모달 입력과 Deep Q-Network 내의 언어 주의 메커니즘을 활용하여 자연어 지시로부터 엔드-투-엔드 내비게이션을 학습하고 보지 않은 방향을 따릅니다. 비주가 없는 베이스라인보다 성공률이 향상되었고 새로운 지시와 시작 위치에 일반화됩니다.

ABSTRACT

Understanding and following directions provided by humans can enable robots to navigate effectively in unknown situations. We present FollowNet, an end-to-end differentiable neural architecture for learning multi-modal navigation policies. FollowNet maps natural language instructions as well as visual and depth inputs to locomotion primitives. FollowNet processes instructions using an attention mechanism conditioned on its visual and depth input to focus on the relevant parts of the command while performing the navigation task. Deep reinforcement learning (RL) a sparse reward learns simultaneously the state representation, the attention function, and control policies. We evaluate our agent on a dataset of complex natural language directions that guide the agent through a rich and realistic dataset of simulated homes. We show that the FollowNet agent learns to execute previously unseen instructions described with a similar vocabulary, and successfully navigates along paths not encountered during training. The agent shows 30% improvement over a baseline model without the attention mechanism, with 52% success rate at novel instructions.

연구 동기 및 목표

• 인간이 제공한 자연어 지시를 따라 미지의 환경에서 로봇이 내비게이션하도록 동기를 부여한다.
• 언어와 시각 입력을 내비게이션 동작으로 매핑하는 엔드-투-엔드 미분가능한 아키텍처를 개발한다.
• 감각 입력에 의존하는 주의 메커니즘을 도입하여 지시문의 관련 부분에 동적으로 초점을 맞춘다.
• 현실적인 가정집 유사 환경에서 보이지 않는 지시 및 다양한 시작 위치에 대한 일반화를 평가한다.

제안 방법

• 관찰에 자연어, 시각 및 깊이 입력이 포함된 POMDP로 내비게이션을 형식화한다.
• 멀티모달 임베딩으로부터 행동-가치 함수를 학습하기 위해 Deep Q-Network를 사용한다.
• 시맨틱 세분화 및 깊이 맵을 통해 시각 입력을 처리하고 컨볼루션 네트워크에 입력하여 v_S 및 v_D 임베딩을 생성한다.
• 지시문을 양방향 GRU로 인코딩하고 시각 및 언어 맥락에 조건화된 피드포워드 주의 계층을 적용하여 v_L을 얻는다.
• [v_S, v_D, v_L] 을 결합하여 최종 피드포워드 네트워크를 통해 Q(o)를 추정하고, ε-탐욕적 탐사 및 벨먼 오차 최소화를 사용해 학습한다.

실험 결과

연구 질문

• RQ1 FollowNet은 희박한 보상으로 자연어 내비게이션 지시를 실행하도록 학습할 수 있는가?
• RQ2 지시에 대한 주의 메커니즘이 주의가 없는 baseline에 비해 성능을 향상시키는가?
• RQ3 모델은 새로운 두 단계 지시와 서로 다른 시작 위치에 얼마나 일반화되는가?
• RQ4 학습과 평가에 공통 어휘를 사용할 때 지시의 복잡도(단계 수) 증가에 모델이 얼마나 잘 확장되는가?
• RQ5 주의가 내비게이션 중 에이전트가 의존하는 지시 단어에 대해 어떤 통찰을 제공하는가?

주요 결과

• FollowNet은 보류 집합의 새로운 지시에서 52%의 완전 성공 및 61%의 부분 성공 에피소드를 달성했고, 주의가 없는 베이스라인에 비해 30% 향상이다.
• 새로운 시작 위치로 평가할 때 에이전트는 지시의 70%를 부분적으로 완료하고 54%를 완전히 완료한다.
• 평가 데이터셋에서의 전반적인 지시 따르기 성공은 52%이며, 비주의 기반선은 40%로 상대적으로 30% 개선이다.
• 주의 히트맵은 에이전트가 진행함에 따라 관련 지시 단어(예: left, hallway)로 주의를 옮기는 것을 보이며, 언어의 맥락 의존적 근거를 시사한다.
• 더 복잡하고 다단계인 지시로 학습된 에이전트는 여전히 두 단계 평가 과제에서 상당한 성능을 달성하며, 많은 경우 부분적 진행을 보이고 네 단계 또는 다섯 단계 지시의 경우 완전 성공은 덜 자주 발생한다.