[논문 리뷰] Learning to Navigate in Indoor Environments: from Memorizing to Reasoning

Liulong Ma, Yanjie Liu외 2명|arXiv (Cornell University)|2019. 04. 15.

Reinforcement Learning in Robotics참고 문헌 22인용 수 15

한 줄 요약

이 논문은 RGB 이미지와 온보드 측위 정보만을 사용하여 미리 알지 못하는 실내 목표지점으로 이동할 수 있도록 하는 딥 강화학습 기반의 주행 계획 시스템을 제안한다. 스택드 LSTM 아키텍처를 활용하여 기억된 경로를 넘어서 일반화할 수 있도록 한다. 모델은 시뮬레이션 및 실제 환경 모두에서 새로운 목표지점으로의 제로샷 일반화를 달성하며, 특정 경로를 기억하는 것이 아니라 시각적 관찰을 바탕으로 추론한다.

ABSTRACT

Autonomous navigation is an essential capability of smart mobility for mobile robots. Traditional methods must have the environment map to plan a collision-free path in workspace. Deep reinforcement learning (DRL) is a promising technique to realize the autonomous navigation task without a map, with which deep neural network can fit the mapping from observation to reasonable action through explorations. It should not only memorize the trained target, but more importantly, the planner can reason out the unseen goal. We proposed a new motion planner based on deep reinforcement learning that can arrive at new targets that have not been trained before in the indoor environment with RGB image and odometry only. The model has a structure of stacked Long Short-Term memory (LSTM). Finally, experiments were implemented in both simulated and real environments. The source code is available: https://github.com/marooncn/navbot.

연구 동기 및 목표

• 실내 환경에서 새로운 목표지점으로 일반화할 수 있는 지도 기반 주행 시스템을 개발한다.
• 로봇이 특정 경로를 기억하는 대신 시각적 관찰을 바탕으로 추론할 수 있도록 한다.
• 사전에 구축된 지도에 의존하지 않고 RGB 이미지와 온보드 측위 정보만을 사용하는 운동 계획 시스템을 설계한다.
• 모델의 일반화 능력을 시뮬레이션 및 실제 실내 환경 모두에서 검증한다.

제안 방법

• 계획 시스템은 사전에 구축된 환경 지도가 필요 없는 딥 강화학습 프레임워크를 사용하여 관찰 결과를 행동으로 매핑한다.
• 스택드 장기 단기 기억(LSTM) 네트워크가 순차적인 시각적 및 온보드 측위 입력을 처리하여 시간적 의존성을 모델링한다.
• 에이전트는 목표 위치에 도달하기 위한 희소이고 조밀한 보상을 최대화하도록 강화학습을 통해 훈련된다.
• 아키텍처는 과거의 관찰 및 행동을 기억함으로써 시각적 맥락에 대한 추론을 가능하게 한다.
• 훈련은 시뮬레이션 환경에서 수행되며, 도메인 랜덤라이제이션을 최소화한 채로 실제 환경 테스트로 이관된다.
• 모델는 훈련 중에 볼 수 없었던 새로운 목표지점에 도달하는 능력에 대해 평가된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 사전에 기억하지 않은 새로운 목표지점으로 실내 환경에서 이동할 수 있는가?
• RQ2 RGB와 온보드 측위 정보만을 사용하여 본 적 있는 목표지점에서 본 적 없는 목표지점으로 얼마나 잘 일반화할 수 있는가?
• RQ3 스택드 LSTM 아키텍처는 시각적 시퀀스에 대한 추론을 위해 얼마나 효과적인가?
• RQ4 제안된 방법은 명시적인 지도 감독 없이 실제 실내 환경에서 안정적인 성능을 달성하는가?

주요 결과

• 모델은 시뮬레이션 및 실제 환경 모두에서 이전에 본 적 없는 목표지점으로 성공적으로 이동하며 제로샷 일반화를 입증한다.
• 스택드 LSTM 아키텍처는 순차적인 시각적 관찰을 바탕으로 추론할 수 있도록 하여 기억을 넘어서는 일반화 능력을 향상시킨다.
• 훈련 예제와 크게 다를 수 있는 새로운 목표지점에도 높은 성공률로 도달한다.
• 최소한의 도메인 적응을 통해 시뮬레이션에서 실제 환경으로의 일반화가 효과적으로 이루어진다.