[논문 리뷰] Neural SLAM: Learning to Explore with External Memory

Jingwei Zhang, Lei Tai외 3명|arXiv (Cornell University)|2017. 06. 29.

Robotics and Sensor-Based Localization참고 문헌 33인용 수 119

한 줄 요약

Neural SLAM은 외부 메모리를 가진 강화학습 에이전트를 도입하여 SLAM과 같은 절차를 학습하고 미지의 환경을 탐험하고 커버하며 내부 인지 맵을 형성합니다.

ABSTRACT

We present an approach for agents to learn representations of a global map from sensor data, to aid their exploration in new environments. To achieve this, we embed procedures mimicking that of traditional Simultaneous Localization and Mapping (SLAM) into the soft attention based addressing of external memory architectures, in which the external memory acts as an internal representation of the environment. This structure encourages the evolution of SLAM-like behaviors inside a completely differentiable deep neural network. We show that this approach can help reinforcement learning agents to successfully explore new environments where long-term memory is essential. We validate our approach in both challenging grid-world environments and preliminary Gazebo experiments. A video of our experiments can be found at: https://goo.gl/G2Vu5y.

연구 동기 및 목표

• 효율적인 탐색과 커버리지를 가능하게 하는 장기적인 내부 표현의 필요성에 대해 동기를 부여한다.
• 신경망 내에 SLAM과 유사한 프로세스를 내재화하는 엔드-투-엔드 차별가능한 아키텍처를 제안한다.
• 외부 메모리가 알려지지 않은 환경에서 계획 및 메모리 기반 탐색을 촉진한다는 것을 보인다.

제안 방법

• 외부 메모리 텐서 M의 크기를 H x W x C로 하는 A3C 기반 강화 학습 프레임워크를 확장한다.
• 저장/검색을 제어하는 쓰기 헤드와 읽기 헤드를 LSTM으로 제어하여 환경 정보를 저장하고 검색한다.
• SLAM과 유사한 동작 예측 및 데이터 연관 단계를 차분 파이프라인 내에 내재화한다.
• 읽기/쓰기 연산은 위치화 로컬라이제이션, 콘텐츠 기반 주소 지정, 이동/샤픈 업데이트를 포함하는 attention 기반 어드레싱 메커니즘을 따른다(Equations II-C 1-5, 7-9).
• 읽기 결과를 LSTM 은닉 상태와 연결하여 정책 π와 가치 V를 생성하고, A3C 및 GAE로 학습한다(Equations 2-3).
• 외부 메모리를 로컬 시점 좌표계의 관점이 아닌 글로벌 맵으로 간주하도록 모션 모델을 도입하고 메모리 업데이트에 편향을 주는 방식으로 다룬다.

실험 결과

연구 질문

• RQ1 외부에 저장된 미분 가능한 메모리가 RL 에이전트가 미지의 환경에서 장기 목표 탐색 전략을 학습하게 할 수 있는가?
• RQ2 신경망 아키텍처 내에 SLAM 유사 모션 및 측정 업데이트를 도입하면 기억 없는 또는 외부 메모리 없는 baselines 대비 탐색 효율과 커버리지가 향상되는가?
• RQ3 Neural SLAM은 훈련 커리큘럼을 넘어서 더 크거나 다른 환경으로 일반화되는가?
• RQ4 성공적 탐색과 관련된 질적 메모리 동적(쓰기/읽기 패턴)은 무엇인가?

주요 결과

• Neural-SLAM이 기준보다 우수하여 격자 세계 실험에서 성공률이 더 높고 탐험 속도가 빨랐음.
• 16x16 세계에 대한 일반화 테스트에서 Neural-SLAM은 최고 성공(46/50) 및 탐색 단계 최저(174.92 ± 174.98)로 비교 방법 중 가장 우수.
• A3C-Ext with external memory but no motion-based memory update underperforms Neural-SLAM, highlighting the benefit of explicit motion prediction in memory updating.
• Memory read/write heads specialize over time, with write attention concentrating while read attention diffuses to summarize the map.
• Gazebo experiments indicate Neural-SLAM maintains robust exploration performance in more realistic physics/sensor scenarios.