[论文解读] Learn-to-Race Challenge 2022: Benchmarking Safe Learning and Cross-domain Generalisation in Autonomous Racing

Jonathan Francis, Bingqing Chen+11 more|arXiv (Cornell University)|May 5, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文介绍了2022年Learn-to-Race虚拟挑战赛，这是一个基于L2R Task 2.0仿真框架的基准测试平台，旨在评估强化学习智能体在自动驾驶竞速中的安全学习与跨领域泛化能力。该挑战赛共收到来自88多所机构的46支团队提交的733份模型，结果表明，策略蒸馏与分布感知模仿学习显著提升了在未见赛道上受安全约束条件下的鲁棒性与迁移性能。

ABSTRACT

We present the results of our autonomous racing virtual challenge, based on the newly-released Learn-to-Race (L2R) simulation framework, which seeks to encourage interdisciplinary research in autonomous driving and to help advance the state of the art on a realistic benchmark. Analogous to racing being used to test cutting-edge vehicles, we envision autonomous racing to serve as a particularly challenging proving ground for autonomous agents as: (i) they need to make sub-second, safety-critical decisions in a complex, fast-changing environment; and (ii) both perception and control must be robust to distribution shifts, novel road features, and unseen obstacles. Thus, the main goal of the challenge is to evaluate the joint safety, performance, and generalisation capabilities of reinforcement learning agents on multi-modal perception, through a two-stage process. In the first stage of the challenge, we evaluate an autonomous agent's ability to drive as fast as possible, while adhering to safety constraints. In the second stage, we additionally require the agent to adapt to an unseen racetrack through safe exploration. In this paper, we describe the new L2R Task 2.0 benchmark, with refined metrics and baseline approaches. We also provide an overview of deployment, evaluation, and rankings for the inaugural instance of the L2R Autonomous Racing Virtual Challenge (supported by Carnegie Mellon University, Arrival Ltd., AICrowd, Amazon Web Services, and Honda Research), which officially used the new L2R Task 2.0 benchmark and received over 20,100 views, 437 active participants, 46 teams, and 733 model submissions -- from 88+ unique institutions, in 58+ different countries. Finally, we release leaderboard results from the challenge and provide description of the two top-ranking approaches in cross-domain model transfer, across multiple sensor configurations and simulated races.

研究动机与目标

• 建立一个标准化基准，用于评估自动驾驶竞速中安全、高性能且可泛化的强化学习智能体。
• 解决在分布偏移、新型障碍物以及未见赛道条件下鲁棒感知与控制的挑战。
• 通过提供高保真、开源的仿真环境，推动自动驾驶领域的跨学科研究。
• 评估多模态感知与控制系统的安全性、性能与泛化能力的综合表现。
• 通过双阶段竞赛形式，为端到端仿真到真实世界迁移与安全强化学习提供验证平台。

提出的方法

• 该挑战赛采用Learn-to-Race（L2R）Task 2.0仿真框架，这是一个具备多模态传感器输入的高保真物理驱动竞速环境。
• 实施了双阶段评估协议：第一阶段聚焦于在安全约束下进行高速竞速；第二阶段要求通过安全探索适应未见过的赛道。
• 智能体通过强化学习进行训练，安全约束通过成本限制回归器、基于规则的专家或可学习的安全评论家来实现。
• 基线方法包括采用分布感知先验的模仿学习，以提升鲁棒性并减少迁移过程中的因果混淆。
• 性能评估采用优化后的指标，包括速度、安全合规性，以及对未见赛道和传感器配置的泛化能力。
• 该平台支持通过ROS与真实世界车辆系统集成，为未来仿真到真实世界的迁移验证提供支持。

实验结果

研究问题

• RQ1 强化学习智能体在保持安全与高性能的前提下，对未见赛道的泛化能力如何？
• RQ2 分布感知模仿学习先验在提升跨领域竞速中鲁棒性并减少负面迁移方面发挥何种作用？
• RQ3 不同安全约束机制（如基于规则的系统、可学习评论家）在实现亚秒级安全关键决策方面的有效性如何？
• RQ4 策略蒸馏在基于多模态感知的自动驾驶竞速中，对泛化与性能的提升程度如何？
• RQ5 L2R Task 2.0基准能否作为自动驾驶竞速中仿真到真实世界迁移的可靠代理？

主要发现

• 该挑战赛吸引了来自58多个国家的88多所机构的46支团队参与，共收到733份模型提交，浏览量超过20,100次，表明社区参与度极高。
• 表现最佳的两种方法均结合了策略蒸馏与分布感知模仿学习，在多种传感器配置下均实现了卓越的跨领域迁移性能。
• 采用分布感知先验训练的智能体在噪声环境下的鲁棒性更强，且在未见赛道上的泛化能力优于标准模仿学习基线方法。
• 通过可学习评论家与成本限制回归器实现的安全约束，在动态环境中高速竞速时有效防止了灾难性失败。
• L2R Task 2.0基准成功捕捉了真实自动驾驶竞速的复杂性，包括分布偏移与新型障碍物，验证了其作为严格评估平台的有效性。
• L2R框架与ROS的集成，使得未来可在Roborace与Indy Autonomous Challenge等真实自动驾驶竞速平台中对算法进行验证。