[논문 리뷰] Learning Exploration Policies for Navigation

Tao Chen, Saurabh Gupta외 1명|arXiv (Cornell University)|2019. 03. 05.

Reinforcement Learning in Robotics참고 문헌 39인용 수 37

한 줄 요약

본 논문은 RGB-D 입력과 온보드 센서 보상을 활용하여 현실적인 3D 환경에서 태스크-어그노스틱 탐색 정책을 학습한다. 모방 학습으로 부트스트랩하고 커버리지 기반의 내재 보상으로 미세 조정하여 기하학적 기반만 사용하는 baselines 및 호기심 기반 탐색을 능가하고 다운스트림 탐색 태스크에 이점을 얻는다.

ABSTRACT

Numerous past works have tackled the problem of task-driven navigation. But, how to effectively explore a new environment to enable a variety of down-stream tasks has received much less attention. In this work, we study how agents can autonomously explore realistic and complex 3D environments without the context of task-rewards. We propose a learning-based approach and investigate different policy architectures, reward functions, and training paradigms. We find that the use of policies with spatial memory that are bootstrapped with imitation learning and finally finetuned with coverage rewards derived purely from on-board sensors can be effective at exploring novel environments. We show that our learned exploration policies can explore better than classical approaches based on geometry alone and generic learning-based exploration techniques. Finally, we also show how such task-agnostic exploration can be used for down-stream tasks. Code and Videos are available at: https://sites.google.com/view/exploration-for-nav.

연구 동기 및 목표

• 새로운 환경을 탐색하기 위한 태스크-어그노스틱 문제로서의 탐색을 촉진한다.
• RGB-D 데이터와 공간 기억이 있는 점유 맵을 활용하여 장기적 탐색을 수행하는 정책 아키텍처를 설계한다.
• 온보드 센서로부터 도출된 커버리지 기반의 내재 보상과 충돌 페널티를 제안한다.
• 샘플 효율성을 높이기 위한 모방 학습에 이어 강화 학습을 포함한 학습 패러다임을 연구한다.
• 보지 않은 환경으로의 일반화와 다운스트림 내비게이션 태스크에의 활용성을 입증한다.

제안 방법

• 자기시점 중심 점유 맵과 RGB 입력을 처리하여 탐색 행동을 유도하는 순환 정책 를 제안한다.
• allocentric-to-egocentric 맵을 구성하고 CNN 기반 특징 추출을 위해 두 맵 스케일(40m x 40m 및 4m x 4m)을 융합한다.
• 정책 학습을 부트스트랩하기 위해 인간의 탐색 궤적으로부터의 모방 학습으로 학습을 시작하고, 이후 내재 보상에 대해 PPO로 미세 조정한다.
• 지도에 적용된 영역 증가를 기반으로 한 내재 커버리지 보상과 범프 센서로부터의 충돌 페널티를 결합해 정의한다.
• House3D 기반의 현실적인 환경에서 RGB-D 관찰과 범프 센서를 사용하여 탐색과 다운스트림 탐색을 평가한다.
• 센서/기하학적 어포던스 불일치에 대한 견고성을 평가하기 위해 프런티어 기반 기하 탐색과 호기심 기반 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 온보드 센서를 사용하여 태스크-어그노스틱한 탐색 정책이 새로운 3D 환경을 어떻게 효율적으로 탐색할 수 있는가?
• RQ2 사람 시연으로 부트스트랩하고 내재 커버리지 보상으로 탐색 품질과 샘플 효율성을 개선하는가?
• RQ3 학습된 탐색 정책은 보지 못한 환경으로 일반화하고 다운스트림 내비게이션 태스크에 도움을 줄 수 있는가?

주요 결과

• 공간 메모리 정책과 커버리지 보상을 갖춘 학습 기반 탐색은 센서 노이즈 및 기하 어포턴스 불일치 하에서 순수 기하 기반 기준선과 호기심 기반 탐색보다 우수하다.
• 모방 학습이 성능을 부트스트랩하고 분산을 줄이며, 강화 학습 미세 조정으로 추가 이점을 얻는다.
• RGB와 지도 입력의 통합은 RGB 또는 지도만 사용할 때보다 탐색 효과를 향상시킨다.
• 온보드 센서 맵에서 파생된 내재 커버리지 보상은 환경 특징으로부터 구성된 외재 보상보다 더 나은 탐색을 촉진한다.
• 탐색 정책은 새로운 환경에서 목표 이미지의 위치 추정 및 경로 계획과 같은 다운스트림 태스크에 측정 가능한 이점을 제공한다.