[논문 리뷰] An A* Curriculum Approach to Reinforcement Learning for RGBD Indoor Robot Navigation

Kaushik Balakrishnan, Punarjay Chakravarty외 1명|arXiv (Cornell University)|2021. 01. 05.

Reinforcement Learning in Robotics참고 문헌 23인용 수 6

한 줄 요약

이 논문은 RGBD 기반 실내 로봇 주행을 위한 커리큘럼 기반 강화학습 접근법을 제안한다. 인식과 제어를 분리함으로써, 사전 훈련된 듀얼 VAE가 RGB 및 깊이 입력을 잠재 표현으로 압축하고, A* 경로 계획이 중간 웨이포인트를 생성하거나 목표를 점점 더 멀리 이동시켜 점차 어려운 주행 과제를 만든다. 이 방법은 훈련 속도를 높이고 최종 성능을 향상시켜, 종단간 DRL 기반 기준보다 높은 성공률 및 SPL 점수를 달성한다.

ABSTRACT

Training robots to navigate diverse environments is a challenging problem as it involves the confluence of several different perception tasks such as mapping and localization, followed by optimal path-planning and control. Recently released photo-realistic simulators such as Habitat allow for the training of networks that output control actions directly from perception: agents use Deep Reinforcement Learning (DRL) to regress directly from the camera image to a control output in an end-to-end fashion. This is data-inefficient and can take several days to train on a GPU. Our paper tries to overcome this problem by separating the training of the perception and control neural nets and increasing the path complexity gradually using a curriculum approach. Specifically, a pre-trained twin Variational AutoEncoder (VAE) is used to compress RGBD (RGB & depth) sensing from an environment into a latent embedding, which is then used to train a DRL-based control policy. A*, a traditional path-planner is used as a guide for the policy and the distance between start and target locations is incrementally increased along the A* route, as training progresses. We demonstrate the efficacy of the proposed approach, both in terms of increased performance and decreased training times for the PointNav task in the Habitat simulation environment. This strategy of improving the training of direct-perception based DRL navigation policies is expected to hasten the deployment of robots of particular interest to industry such as co-bots on the factory floor and last-mile delivery robots.

연구 동기 및 목표

• 종단간 딥 강화학습(DRL)이 RGBD 기반 로봇 주행에 적용될 때 발생하는 데이터 비효율성과 장시간 훈련 문제를 해결하기 위해.
• 인식(표현 학습)과 제어(주행 정책)를 분리함으로써 훈련 효율성과 최종 정책 성능을 향상시키기 위해.
• A*를 사용해 웨이포인트 또는 먼 목표를 생성함으로써 점차 복잡도가 증가하는 커리큘럼을 통해 DRL 훈련을 가속화하기 위해.
• Gibson 데이터셋과 같은 새로운 환경으로 인식 및 정책 표현의 전이 학습을 가능하게 하기 위해.
• 단일 사전 훈련된 VAE 임베딩이 다양한 작업을 위한 여러 주행 정책을 지원할 수 있도록 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• RGB 및 깊이 이미지에 대해 듀얼 변분 오토인코더(VAE)를 사전 훈련하여 환경의 압축된 잠재 표현을 학습한다.
• 학습된 VAE 임베딩을 DRL 정책 네트워크의 입력으로 사용하며, 임베딩된 상태와 목표 방향/헤딩을 기반으로 제어 동작을 회귀한다.
• A* 경로 계획을 사용해 중간 웨이포인트를 생성하거나 시작 위치에서 점점 더 멀리 떨어진 목표를 점진적으로 이동시켜, 시간이 지남에 따라 과제 난이도가 증가하는 커리큘럼을 구성한다.
• 두 가지 커리큘럼 전략을 평가한다: SWP-N(감소하는 N을 가진 이산 웨이포인트)과 FWP(지속적으로 이동하는 목표).
• Habitat 환경을 사용해 시뮬레이션에서 DRL 정책을 훈련하며, 경로 길이가 증가하는 것에 따라 커리큘럼 진행을 기반으로 한다.
• 전이 학습은 새로운 환경(예: Gibson의 Pleasant)에서 사전 훈련된 VAE와 정책을 미세 조정함으로써 수행되며, 동일한 임베딩과 정책 가중치를 초기화 값으로 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 VAE 기반 인식 임베딩이 DRL 기반 주행 정책의 샘플 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ2 A*를 사용해 점차 복잡도가 증가하는 커리큘럼을 생성함으로써 DRL 훈련 속도를 가속화하고 정책 일반화 성능을 향상시킬 수 있는가?
• RQ3 이산 웨이포인트(SWP-N)와 지속적으로 이동하는 목표(FWP)를 사용한 서로 다른 커리큘럼 전략이 최종 정책 성능과 경로의 매끄러움에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 인식 및 정책 표현이 새로운, 볼 수 없는 환경으로 얼마나 잘 전이될 수 있는가?
• RQ5 커리큘럼 훈련이 실제 환경 배치 시나리오에서 더 강력하고 매끄러운 주행 행동을 유도하는가?

주요 결과

• 제안된 커리큘럼 접근법은 종단간 DRL 기준 대비 훈련 시간을 크게 단축시키고 최종 성능을 향상시킨다.
• SWP-10 에이전트는 Pleasant 환경에서 전이 학습 후 평균 성공률 0.95와 평균 SPL 0.87을 기록하여 강력한 일반화 능력을 입증했다.
• FWP 에이전트는 벽 주변에서 더 많은 코asting 행동을 보였고 더 날카로운 회전을 하였으며, 반면 SWP 에이전트는 많은 테스트 에피소드에서 더 매끄럽고 바람직한 경로를 생성했다.
• 시작 위치와 목표 위치에 따라 성능이 에피소드 간으로 변동되었으며, 이는 커리큘럼 설계가 최종 정책 행동에 강력한 영향을 미친다는 것을 시사한다.
• 희귀 케이스, 예를 들어 에피소드-h에서는 유사한 구성에도 불구하고 FWP 에이전트가 목표에 도달하지 못했으며, 이는 환경 레이아웃에 민감한 것을 보여준다.
• 이 방법은 효율적인 전이 학습을 가능하게 하며, 단일 사전 훈련된 VAE 임베딩을 여러 작업과 환경에서 재사용함으로써 재훈련 필요성을 줄인다.