[논문 리뷰] Using RGB Image as Visual Input for Mapless Robot Navigation

Liulong Ma, Yanjie Liu외 1명|arXiv (Cornell University)|2019. 03. 24.

Advanced Vision and Imaging참고 문헌 29인용 수 9

한 줄 요약

이 논문은 변동형 오토인코더(Variational Autoencoder, VAE)를 통해 시각적 특징 추출을 강화학습 정책 네트워크에서 분리함으로써 RGB 이미지를 시각 입력으로 사용하는 지도 없는 로봇 주행 프레임워크를 제안한다. VAE가 학습한 잠재 벡터를 저차원 상태 표현에 입력함으로써 표본 효율성이 크게 향상되어 시뮬레이션에서 효과적인 학습이 가능하고, 현실 세계로의 성공적인 전이가 가능해지며, 현실 격차 문제도 감소시킨다.

ABSTRACT

Robot navigation in mapless environment is one of the essential problems and challenges in mobile robots. Deep reinforcement learning is a promising technique to tackle the task of mapless navigation. Since reinforcement learning requires a lot of explorations, it is usually necessary to train the agent in the simulator and then migrate to the real environment. The big reality gap makes RGB image, the most common visual sensor, rarely used. In this paper we present a learning-based mapless motion planner by taking RGB images as visual inputs. Many parameters in end-to-end navigation network taking RGB images as visual input are used to extract visual features. Therefore, we decouple visual features extracted module from the reinforcement learning network to reduce the need of interactions between agent and environment. We use Variational Autoencoder (VAE) to encode the image, and input the obtained latent vector as low-dimensional visual features into the network together with the target and motion information, so that the sampling efficiency of the agent is greatly improved. We built simulation environment as robot navigation environment for algorithm comparison. In the test environment, the proposed method was compared with the end-to-end network, which proved its effectiveness and efficiency. The source code is available: https://github.com/marooncn/navbot.

연구 동기 및 목표

• 실제 환경에서 지도 없이 RGB 이미지만을 사용하여 로봇 주행 문제를 해결하는 것.
• 강화학습의 표본 효율성을 향상시켜 시뮬레이션과 현실 세계 배포 간의 현실 격차를 줄이는 것.
• 시각적 특징 추출을 정책 네트워크에서 분리하여 학습 효율성과 일반화 능력을 향상시키는 것.
• 복잡하고 비구조적인 환경에서 높은 성능을 유지하면서도 RGB 입력을 사용하는 엔드 투 엔드 학습을 가능하게 하는 것.

제안 방법

• 변동형 오토인코더(Variational Autoencoder, VAE)를 사용하여 원시 RGB 이미지를 저차원 잠재 벡터로 인코딩하여 시각적 특징으로 활용한다.
• 잠재 벡터를 목표 방향 및 운동 정보와 조합하여 강화학습 에이전트의 압축된 상태 표현을 구성한다.
• 감소된 차원의 상태 공간에서 딥 강화학습을 사용하여 정책 네트워크를 학습함으로써 표본 효율성을 향상시킨다.
• 시각적 특징 학습과 정책 학습을 분리함으로써 VAE의 사전 학습이 가능하고 수렴 속도가 빨라진다.
• 훈련 및 평가를 위한 맞춤형 시뮬레이션 환경을 구축하여 엔드 투 엔드 네트워크와의 통제된 비교를 가능하게 한다.
• 도메인 이동을 최소화함으로써 시뮬레이션에서 현실 세계로의 효과적인 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적인 지도 없이 RGB 이미지만으로 지도 없는 로봇 주행에 효과적으로 사용될 수 있는가?
• RQ2 강화학습의 표본 효율성을 향상시키기 위해 시각적 특징 추출을 정책 학습에서 어떻게 분리할 수 있는가?
• RQ3 시각적 표현 학습에 VAE를 사용할 경우 로봇 주행에서 현실 격차가 어느 정도 감소하는가?
• RQ4 훈련 효율성과 최종 성능 측면에서 제안된 방법은 엔드 투 엔드 RGB 기반 주행과 비교해 어떻게 다른가?

주요 결과

• 제안된 방법은 엔드 투 엔드 RGB 기반 주행보다 더 높은 표본 효율성을 달성하여 수렴에 필요한 환경 상호작용 수를 감소시킨다.
• VAE로 학습된 잠재 벡터를 시각적 특징으로 사용함으로써 시각 입력의 차원을 크게 감소시켜 학습 안정성과 속도를 향상시킨다.
• 분리된 아키텍처는 시뮬레이션에서 현실 세계로의 성공적인 전이를 가능하게 하여 현실 격차에 대한 강건성을 입증한다.
• 시뮬레이션 환경에서 훈련 효율성과 최종 주행 성공률 모두에서 엔드 투 엔드 네트워크를 능가한다.