[논문 리뷰] Learning Deployable Navigation Policies at Kilometer Scale from a Single Traversal

Jake Bruce, Niko Sünderhauf외 3명|arXiv (Cornell University)|2018. 07. 11.

Robotic Path Planning Algorithms참고 문헌 32인용 수 24

한 줄 요약

이 논문은 실세계 데이터를 단일 커버리지 트래버설로만 사용하여 이동 로봇의 배치 가능한 목표 지향 탐색 정책을 훈련하는 방법을 제시한다. 사전에 시각적 임bedding를 계산하고 특징 공간에서 효율적인 확률적 데이터 증강을 적용함으로써, 일반 소비자용 데스크톱에서 초당 20,000개 이상의 전이를 훈련할 수 있게 되었으며, 실세계에서 2km에 이르는 이질적인 환경에서 피팅 조정 없이도 성공적인 제로샷 배포를 달성하였다.

ABSTRACT

Model-free reinforcement learning has recently been shown to be effective at learning navigation policies from complex image input. However, these algorithms tend to require large amounts of interaction with the environment, which can be prohibitively costly to obtain on robots in the real world. We present an approach for efficiently learning goal-directed navigation policies on a mobile robot, from only a single coverage traversal of recorded data. The navigation agent learns an effective policy over a diverse action space in a large heterogeneous environment consisting of more than 2km of travel, through buildings and outdoor regions that collectively exhibit large variations in visual appearance, self-similarity, and connectivity. We compare pretrained visual encoders that enable precomputation of visual embeddings to achieve a throughput of tens of thousands of transitions per second at training time on a commodity desktop computer, allowing agents to learn from millions of trajectories of experience in a matter of hours. We propose multiple forms of computationally efficient stochastic augmentation to enable the learned policy to generalise beyond these precomputed embeddings, and demonstrate successful deployment of the learned policy on the real robot without fine tuning, despite environmental appearance differences at test time. The dataset and code required to reproduce these results and apply the technique to other datasets and robots is made publicly available at rl-navigation.github.io/deployable.

연구 동기 및 목표

• 큰 복잡한 환경에서 탐색 정책을 훈련하기 위한 실세계 데이터 요구량을 줄이기 위해.
• 실제 로봇의 단일 기록 트래버설만을 사용하여 효율적이고 고속의 강화학습 훈련을 가능하게 하기 위해.
• 훈련 조건과 테스트 조건 간의 시각적 및 시점 차이에도 불구하고, 훈련된 정책을 실로봇에 제로샷 배포할 수 있도록 하기 위해.
• 재현 가능성과 더 넓은 적용을 위해 데이터셋과 코드를 공개하기 위해.

제안 방법

• 사전 훈련된 이미지 인코더를 사용하여 단일 로봇 트래버설에서 시각적 임베딩을 사전 계산함으로써, 빠른 추론과 고속도 훈련을 가능하게 한다.
• 실시간으로 특징 공간에서 확률적 증강을 적용함으로써 다양한 시각 조건을 시뮬레이션함: 랜덤 프레임 선택, 이미지 회전, 노이즈 주입.
• 훈련 중 탐색 그래프의 균형 잡힌 커버리지가 보장되도록 커리큘럼 학습 전략을 사용한다.
• 목표까지의 거리 기반 조밀한 보상 설계를 사용한 A3C 기반 모델리스 강화학습 에이전트를 훈련한다.
• 1미터 간격의 노드를 사용한 그래프 기반 환경 표현을 활용하여 탐색 상태를 정의한다.
• 전역 및 국소 특징에 상관관계 있는 및 없는 노이즈를 적용하여 감각적 변동성을 시뮬레이션하고 정책의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실세계 상호작용을 광범위하게 요구하지 않고도 단일 실세계 트래버설에서 탐색 정책을 성공적으로 훈련시킬 수 있는가?
• RQ2 사전 계산된 시각적 특징과 효율적인 데이터 증강을 사용하여 일반 하드웨어에서 고속도 훈련을 달성할 수 있는가?
• RQ3 훈련 데이터와의 시각적 및 시점 차이에도 불구하고, 훈련된 정책이 피팅 조정 없이 실세계 배포에 일반화될 수 있는가?
• RQ4 경로 효율성과 성공률 측면에서, 실배포 정책의 성능이 가상 에이전트와 비교해 어떻게 되는가?

주요 결과

• 일반 소비자용 데스크톱에서 훈련 도중 초당 20,000개 이상의 전이를 달성하여 수백만 개의 훈련 전이를 수 시간 내에 처리할 수 있었다.
• 훈련된 정책은 실세계에서 실시한 2km 이질적 환경(실내 및 실외 포함)을 성공적으로 통과하여 목표 이미지에 도달했으며, 실로봇에서 피팅 조정 없이도 작동했다.
• 배포 경로의 평균 길이는 최적 경로의 2.42배였지만, 이는 가상 에이전트의 1.14배 수준으로 합리적인 범위 내에 있었다.
• 실세계 테스트 시나리오에서 빛의 강도 변화, 그림자, 시점 변화 등 예상치 못한 시각 조건에도 효과적으로 일반화되었음을 입증하였다.
• 이전의 연구 대비 실세계에서의 확장성 면에서 뛰어난 성능을 보였으며, 단일 트래버설에서 킬로미터 수준의 탐색을 가능하게 하였다.
• 데이터셋과 코드는 재현 가능성과 재사용을 위해 rl-navigation.github.io/deployable 에 공개되었다.