[논문 리뷰] FastRLAP: A System for Learning High-Speed Driving via Deep RL and Autonomous Practicing

Kyle Stachowicz, Dhruv Shah외 3명|arXiv (Cornell University)|2023. 04. 19.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

FastRLAP은 딥 강화학습(Deep RL)과 실제 세계에서의 자가연습을 통해 시각적 관측에서 고속 주행을 자율적으로 학습할 수 있도록 하는 시스템이다. 이 시스템은 다양한 이전 주행 데이터로부터 사전 훈련된 표현과 단일 저속 주행 시연을 활용하여 샘플 효율적인 온라인 RL을 부스터링하며, 인간 간섭 없이 20분 이내의 실제 세계 훈련으로 전문가 수준의 성능을 달성한다.

ABSTRACT

We present a system that enables an autonomous small-scale RC car to drive aggressively from visual observations using reinforcement learning (RL). Our system, FastRLAP (faster lap), trains autonomously in the real world, without human interventions, and without requiring any simulation or expert demonstrations. Our system integrates a number of important components to make this possible: we initialize the representations for the RL policy and value function from a large prior dataset of other robots navigating in other environments (at low speed), which provides a navigation-relevant representation. From here, a sample-efficient online RL method uses a single low-speed user-provided demonstration to determine the desired driving course, extracts a set of navigational checkpoints, and autonomously practices driving through these checkpoints, resetting automatically on collision or failure. Perhaps surprisingly, we find that with appropriate initialization and choice of algorithm, our system can learn to drive over a variety of racing courses with less than 20 minutes of online training. The resulting policies exhibit emergent aggressive driving skills, such as timing braking and acceleration around turns and avoiding areas which impede the robot's motion, approaching the performance of a human driver using a similar first-person interface over the course of training.

연구 동기 및 목표

• 시뮬레이션 또는 인간 시연 없이 시각적 관측에서 고속 주행 정책을 실세계에서 자율적으로 학습할 수 있는 시스템을 개발하는 것.
• 실세계 로봇 제어에서 온라인 RL의 샘플 비효율성과 고장 위험성을 극복하기 위해 자율적 복구 및 지속적인 연습을 가능하게 하는 것.
• 다양한 로봇 주행 데이터로부터 사전 훈련된 표현이 공격적인 주행 행동을 위한 실세계 RL을 효과적으로 부스터링할 수 있는지 조사하는 것.
• 드러나는 고성능 주행 기술(예: 드리ft 및 최적의 레이싱 라인 선택)이 최소한의 인간 감독과 실세계 온라인 상호작용을 통해 어떻게 유도되는지 보여주는 것.

제안 방법

• 다양한 로봇과 환경에서의 저속 주행 데이터 대규모 다량 데이터셋에서 정책 및 가치 함수 표현을 사전 훈련하여, 장애물과 자유 공간과 같은 일반화 가능한 시각적 특징을 포착하는 것.
• 단일 저속 인간 시연을 사용하여 주행 체크포인트를 추출하고 목표 코스를 정의하며, 이는 목표 조건부 RL 정책을 안내하는 데 사용된다.
• 충돌 또는 실패 후 로봇을 자동으로 리셋하는 자율적 연습 프레임워크를 구현하여 인간 간섭 없이 지속적인 온라인 훈련을 가능하게 하는 것.
• 사전 훈련된 표현을 활용하여 목표 환경에 신속히 적응하고 여러 루프에 걸쳐 성능을 향상시키는 샘플 효율적인 온라인 RL 알고리즘을 적용하는 것.
• 비평가 네트워크를 사용하여 시각적 관측 기반으로 행동을 평가하고, 장애물을 피하고 최적의 궤적을 유지하는 경로에 대해 높은 값을 할당하는 것.
• 실시간으로 다음 체크포인트까지의 벡터 정보를 제공하는 상태 추정기 통합을 통해 훈련 중 목표 조건부 탐색을 가능하게 하는 것.

Figure 2 : FastRLAP learns fast driving policies for a 1/10 ${}^{\text{th}}$ -scale vehicle operating in diverse indoor and outdoor environments with challenging terrains in tens of minutes, using a combination of offline pre-training and online reinforcement learning.

실험 결과

연구 질문

• RQ1 비디오 기반 RL 정책이 인간 시연 또는 시뮬레이션 없이 실세계에서 고속 주행 행동을 자율적으로 학습할 수 있는가?
• RQ2 다양한 로봇 주행 데이터로부터의 사전 훈련된 표현이 공격적인 주행을 위한 실세계 온라인 RL에서 샘플 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 충돌 및 실패로부터의 자율적 복구가 인간 간섭 없이 실세계 RL에서 지속적이고 끊김 없는 학습을 가능하게 할 수 있는가?
• RQ4 드러나는 주행 행동(예: 드리ft 및 최적의 레이싱 라인 선택)이 최소한의 인간 감독과 실세계 온라인 상호작용을 통해 유도되는가?

주요 결과

• FastRLAP은 인간 전문가 운전자와 유사한 1인칭 인터페이스를 사용하여, 실세계 온라인 훈련 5~20분 후에 전문가 수준의 성능의 약 40% 이내를 달성한다.
• 시스템은 저속 데이터와 단일 저속 시연로 초기화되었음에도 불구하고, 곡선에서 브레이킹 및 액셀레이션 타이밍 조절, 드리프트, 고속 주행 지형 선택과 같은 공격적인 주행 행동을 학습한다.
• 비평가 네트워크는 시각적 신호(예: 장애물, 개방된 경로)와 행동 가치 사이에 의미 있는 상관관계를 보이며, 이는 정책이 행동을 암기하는 것이 아니라 환경을 이해하고 추론하도록 학습하고 있음을 시사한다.
• 절단 실험 결과는 임무 관련 사전 훈련이 성공에 핵심적임을 확인하며, 비디오 기반 제어에서의 후속 RL에 대해 사전 훈련된 표현이 강력한 기반을 제공한다는 것을 뒷받침한다.
• 시스템은 충돌 후 자율적으로 복구하고 인간 간섭 없이 계속 연습을 이어가며, 실세계에서 지속적인 학습을 가능하게 한다.
• 이 방법은 최소한의 온라인 데이터로도 높은 성능을 달성하여, 적절한 사전 훈련 및 자율적 복구 메커니즘과 함께 딥 강화학습이 실세계 정책 학습에 실현 가능하다는 것을 시사한다.

Figure 3 : High-speed visual navigation faces challenges due to sensing, perception, and dynamics: (a) noisy odometry and localization errors across multiple laps, (b) overexposure and motion blur in the visual observations, and (c) over-/under-steer due to complex dynamics.