[논문 리뷰] End-to-End Navigation in Unknown Environments using Neural Networks

Arbaaz Khan, Clark Zhang외 4명|ArXiv.org|2017. 07. 24.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 미리 정의된 경로 길이가 20단위인 환경에서 훈련한 후 최대 200단위 길이의 새로운 죽음의 골목(cul-de-sac)에 일반화할 수 있도록, 가속화된 가치 반복 네트워크(VIN)에 미분 가능한 메모리(LSTM)를 통합한 엔드 투 엔드 내비게이션 정책을 제안한다. 과거 센서 기록을 학습함으로써, 모델은 훈련된 경로 길이를 초월한 200단위 길이의 죽음의 골목 내비게이션 문제를 성공적으로 해결하며, 지도학습 및 강화학습 기반의 베이스라인보다 뛰어난 성능을 보인다.

ABSTRACT

We investigate how a neural network can learn perception actions loops for navigation in unknown environments. Specifically, we consider how to learn to navigate in environments populated with cul-de-sacs that represent convex local minima that the robot could fall into instead of finding a set of feasible actions that take it to the goal. Traditional methods rely on maintaining a global map to solve the problem of over coming a long cul-de-sac. However, due to errors induced from local and global drift, it is highly challenging to maintain such a map for long periods of time. One way to mitigate this problem is by using learning techniques that do not rely on hand engineered map representations and instead output appropriate control policies directly from their sensory input. We first demonstrate that such a problem cannot be solved directly by deep reinforcement learning due to the sparse reward structure of the environment. Further, we demonstrate that deep supervised learning also cannot be used directly to solve this problem. We then investigate network models that offer a combination of reinforcement learning and supervised learning and highlight the significance of adding fully differentiable memory units to such networks. We evaluate our networks on their ability to generalize to new environments and show that adding memory to such networks offers huge jumps in performance

연구 동기 및 목표

• 기계적 드리프트로 인해 전통적인 SLAM 기반 맵핑이 실패하는 볼록한 局소 최소값(예: 죽음의 골목)이 존재하는 미지의 환경 내에서 내비게이션 문제를 해결한다.
• 명시적인 맵 표현 없이도 엔드 투 엔드 딥 강화학습 또는 지도학습이 순차적 내비게이션 문제를 해결할 수 있는지 탐구한다.
• 메모리의 역할이 훈련 분포를 초월한 더 긴, 새로운 죽음의 골목에 대한 일반화를 가능하게 하는지 탐색한다.
• 가치 반복 네트워크(VIN)와 미분 가능한 메모리 유닛을 조합함으로써 강건하고 일반화 가능한 내비게이션 정책을 구현함을 보여준다.

제안 방법

• 이산 동작(위, 아래, 왼쪽, 오른쪽)과 거리 센서 입력을 갖춘 2차원 격자 월드 시뮬레이터를 사용하여 로봇의 인지 능력을 모델링한다.
• 학습된 보상 사전 지식을 사용하여 경로 계획을 위한 가치 반복을 근사하는 가치 반복 네트워크(VIN)를 훈련시킨다.
• 주의 모듈 이후에 장기 단기 기억(LSTM) 레이어를 추가하여 순차적 센서 기록을 인코딩한다.
• 고정 길이(20단위)의 죽음의 골목 경로에 대해 A* 플래너의 지도 학습 지시를 사용하여 VIN+LSTM 모델을 엔드 투 엔드로 훈련시킨다.
• 재훈련 없이도 길이가 증가하는 죽음의 골목(최대 500단위)에서의 일반화 성능을 평가한다.
• 메모리와 아키텍처의 영향을 분리하기 위해 DQN, CNN, CNN+LSTM, 수동으로 설계된 부분 맵을 갖춘 VIN과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 희소 보상과 복잡한 국소 최소값이 존재하는 미지의 환경에서 엔드 투 엔드 내비게이션을 해결할 수 있는가?
• RQ2 입력 센서가 들어올 때와 나갈 때 동일한 경우, 완전 컨볼루션 네트워크를 사용한 지도학습이 더 긴 죽음의 골목에 일반화할 수 있는가?
• RQ3 가치 반복 네트워크에 LSTM 메모리 모듈을 추가하면 더 길고 새로운 죽음의 골목에 일반화할 수 있는가?
• RQ4 수동으로 설계된 부분 맵을 갖춘 모델과 비교할 때, VIN+LSTM의 성능은 어떻게 되는가?
• RQ5 LSTM 또는 DNC와 같은 미분 가능한 메모리 메커니즘이 순차적 결정 문제에서 내비게이션의 강건성을 향상시킬 수 있는가?

주요 결과

• DQN과 표준 CNN 기반 모델은 희소 보상과 모호한 센서 입력으로 인해 죽음의 골목 내비게이션에서 완전히 실패하여 성공률가 0%에 머물렀다.
• CNN+LSTM 모델은 40%의 성공률를 기록했지만, 20단위 길이의 죽음의 골목까지만 일반화되었으며, 이는 고정된 회전 거리를 학습한 것이지 구조적 이해를 얻지 못했음을 시사한다.
• 수동으로 설계된 부분 맵을 갖춘 VIN은 100% 성공률를 기록했고, 최대 500단위 길이의 죽음의 골목까지 일반화했으며, 과거 관측치의 기억이 핵심임을 입증한다.
• LSTM 레이어를 갖춘 VIN은 100% 성공률를 기록했고, 최대 190단위 길이의 죽음의 골목까지 일반화했으며, CNN+LSTM보다 뚜렷한 성능 향상을 보이며 효과적인 메모리 통합을 입증했다.
• LSTM 레이어가 VIN 아키텍처의 주의 모듈 이후에 위치했을 때 성능이 가장 우수했으며, 이는 아키텍처의 민감성에 기인함을 시사한다.
• 다양한 신경 컴퓨터(DNC)를 사용한 초도 실험에서 LSTM보다 향상된 성능을 기록했으며, 향후 연구에서 더 고급 메모리 메커니즘의 잠재력이 있음을 시사한다.