[논문 리뷰] Learning to Navigate in Cities Without a Map

Piotr Mirowski, Matthew Koichi Grimes외 8명|arXiv (Cornell University)|2018. 03. 31.

Multimodal Machine Learning Applications참고 문헌 43인용 수 52

한 줄 요약

논문은 StreetLearn을 Google Street View로 구성된 도시 규모의 시각 탐색 환경으로 제시하고, 다중 도시에서 학습하고 새로운 도시로 transfer하는 듀얼-path, 목표 조건 강화 학습 아키텍처를 도입한다.

ABSTRACT

Navigating through unstructured environments is a basic capability of intelligent creatures, and thus is of fundamental interest in the study and development of artificial intelligence. Long-range navigation is a complex cognitive task that relies on developing an internal representation of space, grounded by recognisable landmarks and robust visual processing, that can simultaneously support continuous self-localisation ("I am here") and a representation of the goal ("I am going there"). Building upon recent research that applies deep reinforcement learning to maze navigation problems, we present an end-to-end deep reinforcement learning approach that can be applied on a city scale. Recognising that successful navigation relies on integration of general policies with locale-specific knowledge, we propose a dual pathway architecture that allows locale-specific features to be encapsulated, while still enabling transfer to multiple cities. We present an interactive navigation environment that uses Google StreetView for its photographic content and worldwide coverage, and demonstrate that our learning method allows agents to learn to navigate multiple cities and to traverse to target destinations that may be kilometres away. The project webpage http://streetlearn.cc contains a video summarising our research and showing the trained agent in diverse city environments and on the transfer task, the form to request the StreetLearn dataset and links to further resources. The StreetLearn environment code is available at https://github.com/deepmind/streetlearn

연구 동기 및 목표

• 실제 도시 규모의 환경에서 맵이나 GPS 없이 엔드-투-엔드 딥 RL을 통한 탐색을 동기화한다.
• Street View 기반 인터랙티브 환경을 구축하여 장거리, 목표 지향 탐색을 연구한다.
• 일반 탐색 정책과 도시별 지식을 균형 있게 다루는 모듈식, 로컬 특화 신경 아키텍처를 제안한다.
• 여러 도시에 걸친 학습된 탐색이 먼 목표를 달성하게 하고 보지 않은 지역으로의 전이를 가능하게 한다.

제안 방법

• Street Learn을 탐색 환경으로 사용하며 Street View 기반 파노라마의 그래프를 활용한다.
• 목표를 고정된 랜드마크 집합에 대한 거리의 소프트맥스(softmax)로 표현한다.
• 세 가지 아키텍처를 제안한다: GoalNav, CityNav, 그리고 Dual LSTM 경로를 갖는 MultiCityNav로 로컬 특화 지식과 일반 탐색 지식을 분리한다.
• 학습을 돕는 보조 헤딩 예측 태스크를 사용하여 IMPALA로 에이전트를 학습한다.
• 목표 거리의 커리큘럼 학습을 도입하여 500m에서 시작해 도시 지역에 따라 최대 3.5–5km까지 점진적으로 확장하고, 선택적 보상 형성(reward shaping)을 적용한다.
• 공유 인코더와 정책 LSTM을 고정한 채 새로운 도시 경로를 학습시키는 모듈식 전이 프로토콜을 제공한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 RL이 Street View의 시각 입력만으로도 장거리의 실제 도시 탐색을 학습할 수 있는가?
• RQ2 듀얼 패스 아키텍처가 단일 도시 베이스라인에 비해 다중 도시에서 학습 효율성과 전이를 개선하는가?
• RQ3 여러 도시에서 학습된 탐색 에이전트가 이전에 보지 못한 도시로 어느 정도까지 전이될 수 있는가?
• RQ4 커리큘럼 학습과 보상 형성이 도시 규모 탐색의 학습 속도와 견고성에 어떤 영향을 미치는가?

주요 결과

• Dual LSTM 경로를 갖춘 CityNav가 뉴욕, 런던, 파리에서 단일 경로 GoalNav 베이스라인보다 더 높고 안정적인 성능을 달성한다.
• DualPath 아키텍처는 보지 않은 도시 지역으로의 전이를 가능하게 하며, 새로운 로케일 특화 경로를 재학습 없이도 공유 컴포넌트를 재학습하지 않고 전이하기 위해 학습될 수 있다.
• 커리큘럼 학습은 단순 보상 형성보다 학습 효율성과 견고성을 크게 개선하고, 도달 가능한 목표 거리의 점진적 확장을 통해 달성한다.
• 보류 목표에서 성능은 보류된 지역 면적 크기가 커질수록 저하되지만, 에이전트가 여전히 목표를 향해 이동하므로 랜드마크 기반 목표 표현의 일반화가 근사적으로 작동함을 시사한다.
• 전이 실험에서 다중 도시에서의 사전 학습 후 대상 도시로의 전이가 joint 다도시 학습 성능에 접근하며, 네 도시 사전 학습이 강한 전이 결과를 낳는다.
• 비전과 정책 간의 스킵 연결을 제거하면 단일 도시 학습에 해를 끼치지만 다도시 전이 중 인터페이스를 규제하는 효과가 있다.