[논문 리뷰] Towards Cognitive Exploration through Deep Reinforcement Learning for Mobile Robots

Lei Tai, Ming Liu|arXiv (Cornell University)|2016. 10. 06.

Reinforcement Learning in Robotics참고 문헌 20인용 수 78

한 줄 요약

이 논문은 RGB-D 센서에서 얻은 원시 깊이 이미지만을 사용하여 미지의 실내 환경에서 자율적으로 탐색할 수 있도록 하는 엔드 투 엔드 딥 강화학습(DRL) 프레임워크를 제안한다. 사전 학습된 지도학습 모델로 컨volutional 신경망(CNN)을 초기화하고 DRL을 통해 미세조정함으로써, 로봇은 이동 명령을 최적화하면서도 통행 가능성 인식 능력을 향상시키며, 수동 레이블링 없이도 시뮬레이션 및 실제 환경 모두에서 견고한 탐색 성능을 달성한다.

ABSTRACT

Exploration in an unknown environment is the core functionality for mobile robots. Learning-based exploration methods, including convolutional neural networks, provide excellent strategies without human-designed logic for the feature extraction. But the conventional supervised learning algorithms cost lots of efforts on the labeling work of datasets inevitably. Scenes not included in the training set are mostly unrecognized either. We propose a deep reinforcement learning method for the exploration of mobile robots in an indoor environment with the depth information from an RGB-D sensor only. Based on the Deep Q-Network framework, the raw depth image is taken as the only input to estimate the Q values corresponding to all moving commands. The training of the network weights is end-to-end. In arbitrarily constructed simulation environments, we show that the robot can be quickly adapted to unfamiliar scenes without any man-made labeling. Besides, through analysis of receptive fields of feature representations, deep reinforcement learning motivates the convolutional networks to estimate the traversability of the scenes. The test results are compared with the exploration strategies separately based on deep learning or reinforcement learning. Even trained only in the simulated environment, experimental results in real-world environment demonstrate that the cognitive ability of robot controller is dramatically improved compared with the supervised method. We believe it is the first time that raw sensor information is used to build cognitive exploration strategy for mobile robots through end-to-end deep reinforcement learning.

연구 동기 및 목표

• 원시 깊이 센서 입력만을 사용하여 미지의 실내 환경에서 모바일 로봇의 인지적 탐색 전략을 개발한다.
• 로봇 공학 분야에서 지도학습의 한계—특히 데이터 레이블링 부담과 새로운 환경에 대한 일반화 능력 부족—을 극복한다.
• 원시 깊이 이미지에서 제어 명령어로 직접 매핑하는 엔드 투 엔드 딥 강화학습 정책을 가능하게 한다.
• 수용성 영역 분석을 통해 모델의 인지 능력을 평가하고 통행 가능성 인식 향상을 입증한다.
• 모델의 성능을 시뮬레이션 및 실제 환경 모두에서 검증하여 시뮬레이션에서 실제 환경으로의 전이 능력을 입증한다.

제안 방법

• 이 방법은 원시 깊이 이미지를 입력으로 사용하고 다섯 가지 이동 명령어(전진, 좌회전, 우회전, 좌측 도는, 우측 도는)에 대한 Q-값을 출력하는 딥 Q-네트워크(DQN) 프레임워크를 사용한다.
• 컨volutional 신경망(CNN)의 가중치는 이전 연구에서 확보한 사전 학습된 지도학습 모델을 사용하여 초기화되며, 이는 수렴 속도 향상과 더 나은 초기 특징 표현을 가능하게 한다.
• 충돌을 방지하고 영역 커버리지를 장려하는 보상 함수를 사용하여, 딥 강화학습을 통해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 수용성 영역 시각화는 특징 맵의 이중선형 보간을 통해 수행되며, 입력 깊이 이미지의 어떤 영역이 정책 결정에 영향을 미치는지 해석하는 데 사용된다.
• 훈련은 실제 환경 데이터를 전혀 사용하지 않고 시뮬레이션 환경에서만 수행되며, 이는 실제 장면에 대한 제로샷 일반화 능력을 시험하기 위함이다.
• 행동-가치 추정은 로봇의 이동 결정에 대한 자신감을 평가하며, 낮은 값은 높은 충돌 위험을 나타낸다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 인간이 설계한 특징이나 레이블링 데이터 없이 원시 깊이 이미지에서 효과적인 탐색 정책을 학습할 수 있는가?
• RQ2 엔드 투 엔드 DRL은 지도학습 방법에 비해 로봇의 통행 가능한 경로 인식 능력을 얼마나 향상시키는가?
• RQ3 시뮬레이션에서 훈련된 DRL 정책이 미세조정 없이 실제 실내 환경으로 얼마나 잘 일반화되는가?
• RQ4 수용성 영역 분석을 통해 딥 네트워크가 탐색 과정에서 인지적 추론 과정을 어떻게 수행하는지 어떤 통찰을 제공하는가?
• RQ5 DRL 정책은 훈련 환경에 존재하지 않은 새로운 또는 비정상적인 장애물에 대해 더 뛰어난 강건성을 보여주는가?

주요 결과

• DRL 모델은 시뮬레이션 및 실제 환경 테스트 모두에서 미지의 실내 환경을 성공적으로 탐색하였으며, 실제 환경 훈련 데이터 없이도 지도학습 기반 모델보다 뛰어난 성능을 보였다.
• 실제로 훈련된 바 없이도 시뮬레이션에서만 훈련된 DRL 모델은 좁은 복도나 비정형 장애물이 있는 장면에서도 효과적으로 일반화되어, 강력한 제로샷 전이 능력을 입증하였다.
• 수용성 영역 분석 결과, DRL 모델은 가장 멀리 떨어진 영역의 깊이뿐만 아니라 통행 가능한 경로의 폭까지 집중하는 것을 학습한 것으로 나타났다. 이는 통행 가능성 인식 능력 향상에 기여한다.
• 반면, 지도학습 모델은 깊이 이미지에서 가장 먼 점을 지속적으로 선호하여, 다수의 장애물이 있는 복잡한 환경에서 충돌을 일으켰다.
• DRL 모델은 좁은 통로(R3 및 R4 등)를 정확히 식별하고 피하는 반면, 지도학습 모델은 깊이 정보에만 집중하여 이러한 상황에서 실패했다.
• 행동-가치 추정치는 충돌 위험과 상관관계가 있다: 가까운 장애물이 있는 환경에서는 모든 행동에 대해 낮은 Q-값을 보이며, 이는 모델의 내부 위험 평가가 물리적 현실과 일치함을 시사한다.