[논문 리뷰] Learn-to-Race Challenge 2022: Benchmarking Safe Learning and Cross-domain Generalisation in Autonomous Racing

Jonathan Francis, Bingqing Chen외 11명|arXiv (Cornell University)|2022. 05. 05.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 안전 학습과 교차 도메인 일반화에 중점을 두고 강화 학습 에이전트의 자율 주행 성능을 평가하기 위해 L2R Task 2.0 시뮬레이션 프레임워크를 사용하는 Learn-to-Race 2022 가상 챌린지를 제시한다. 이 챌린지는 88개 이상의 기관에서 온 46개 팀으로부터 733개의 모델 제출을 평가하였으며, 정책 증류와 분포 인식 임의화 학습이 안전 제약 조건 하에서 새로운 레이스트랙에서의 강건성과 전이 성능을 크게 향상시켰음을 입증한다.

ABSTRACT

We present the results of our autonomous racing virtual challenge, based on the newly-released Learn-to-Race (L2R) simulation framework, which seeks to encourage interdisciplinary research in autonomous driving and to help advance the state of the art on a realistic benchmark. Analogous to racing being used to test cutting-edge vehicles, we envision autonomous racing to serve as a particularly challenging proving ground for autonomous agents as: (i) they need to make sub-second, safety-critical decisions in a complex, fast-changing environment; and (ii) both perception and control must be robust to distribution shifts, novel road features, and unseen obstacles. Thus, the main goal of the challenge is to evaluate the joint safety, performance, and generalisation capabilities of reinforcement learning agents on multi-modal perception, through a two-stage process. In the first stage of the challenge, we evaluate an autonomous agent's ability to drive as fast as possible, while adhering to safety constraints. In the second stage, we additionally require the agent to adapt to an unseen racetrack through safe exploration. In this paper, we describe the new L2R Task 2.0 benchmark, with refined metrics and baseline approaches. We also provide an overview of deployment, evaluation, and rankings for the inaugural instance of the L2R Autonomous Racing Virtual Challenge (supported by Carnegie Mellon University, Arrival Ltd., AICrowd, Amazon Web Services, and Honda Research), which officially used the new L2R Task 2.0 benchmark and received over 20,100 views, 437 active participants, 46 teams, and 733 model submissions -- from 88+ unique institutions, in 58+ different countries. Finally, we release leaderboard results from the challenge and provide description of the two top-ranking approaches in cross-domain model transfer, across multiple sensor configurations and simulated races.

연구 동기 및 목표

• 자율 주행에서 안전성, 고성능, 일반화 능력을 갖춘 강화 학습 에이전트 평가를 위한 표준화된 벤치마크를 확립하기 위해.
• 분포 이탈, 새로운 장애물, 그리고 미리 보지 못한 레이스트랙 상황에서의 강건한 인식 및 제어 도전 과제를 해결하기 위해.
• 고정밀도, 개방형 시뮬레이션 환경을 제공하여 자율 주행 분야의 다학제적 연구를 촉진하기 위해.
• 다중 모odal 인식 및 제어 시스템에서 안전성, 성능, 일반화 능력의 통합적 성능를 평가하기 위해.
• 두 단계 경쟁 형식을 통해 시뮬레이션에서 실제 환경으로의 전이와 안전 강화 학습을 위한 시험장으로 기능하기 위해.

제안 방법

• 챌린지는 L2R Task 2.0 시뮬레이션 프레임워크를 사용하며, 다중 모달 센서 입력을 갖춘 고정밀도 물리 기반 레이스 환경이다.
• 두 단계 평가 프로토콜을 구현하였다: 1단계는 안전 제약 조건 하에서 고속 주행에 중점을 두었으며, 2단계는 안전 탐색을 통해 예측하지 못한 레이스트랙에 적응하는 것을 요구하였다.
• 안전 제약 조건은 비용 제한 회귀 모델, 규칙 기반 전문가, 또는 학습 가능한 안전 비평가를 통해 강화된 강화 학습으로 훈련되었다.
• 기본 기반 접근 방식으로는 전이 과정에서의 인과적 혼동을 줄이고 강건성을 향상시키기 위해 분포 인식 사전 지식을 갖춘 임의화 학습이 포함되었다.
• 속도, 안전 준수, 그리고 예측하지 못한 트랙 및 센서 구성으로의 일반화를 포함한 개선된 지표를 사용해 모델 성능을 평가하였다.
• ROS를 통한 실제 차량 스택 통합을 지원하여 향후 시뮬레이션에서 실제 환경으로의 전이 검증이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 강화 학습 에이전트는 안전성과 고성능를 유지하면서도 새로운 레이스트랙으로의 일반화 능력이 얼마나 뛰어난가?
• RQ2 분포 인식 임의화 학습 사전 지식은 교차 도메인 주행에서 강건성 향상과 부정적 전이 감소에 어떤 역할을 하는가?
• RQ3 규칙 기반 또는 학습 가능한 비평가와 같은 다양한 안전 제약 메커니즘은 1초 이내의 안전 핵심 의사결정 유지에 얼마나 효과적인가?
• RQ4 정책 증류는 다중 모달 인식 기반 자율 주행에서 일반화 능력과 성능 향상에 얼마나 기여하는가?
• RQ5 L2R Task 2.0 벤치마크는 자율 주행에서의 시뮬레이션에서 실제 환경으로의 전이를 신뢰할 수 있는 대체 수단으로 기능할 수 있는가?

주요 결과

• 이 챌린지는 58개 이상의 국가에서 온 88개 이상의 기관에서 온 46개 팀이 참가하여 총 733개의 모델 제출과 20,100회 이상의 조회를 기록하며 강력한 커뮤니티 참여를 보였다.
• 상위 2개의 성능을 보인 접근 방식은 정책 증류와 분포 인식 임의화 학습을 활용하여 다양한 센서 구성에서 뛰어난 교차 도메인 전이 성능를 달성하였다.
• 분포 인식 사전 지식을 갖춘 정책으로 훈련된 에이전트는 표준 IL 기반 대비 노이즈에 대한 강건성과 예측하지 못한 레이스트랙에서의 일반화 능력이 향상된 것으로 나타났다.
• 학습 가능한 비평가와 비용 제한 회귀 모델을 통한 안전 제약 조건이 동적인 환경에서 고속 주행 중 치명적인 실패를 효과적으로 방지하였다.
• L2R Task 2.0 벤치마크는 실제 자율 주행의 복잡성을 잘 반영하였으며, 분포 이탈과 새로운 장애물까지 포함하여 엄격한 평가 플랫폼으로서의 유효성을 입증하였다.
• L2R 프레임워크와 ROS의 통합은 향후 Roborace 및 Indy Autonomous Challenge에서 사용되는 실제 자율 레이스 플랫폼에서 알고리즘 검증을 가능하게 한다.