[论文解读] CARLA: An Open Urban Driving Simulator

Alexey Dosovitskiy, Germán Ros+3 more|arXiv (Cornell University)|Nov 10, 2017

Autonomous Vehicle Technology and Safety参考文献 20被引用 291

一句话总结

CARLA 是一个开源的城市驾驶仿真器，用于开发、训练和评估自动驾驶系统，在城市场景中比较模块化管线、模仿学习和强化学习。

ABSTRACT

We introduce CARLA, an open-source simulator for autonomous driving research. CARLA has been developed from the ground up to support development, training, and validation of autonomous urban driving systems. In addition to open-source code and protocols, CARLA provides open digital assets (urban layouts, buildings, vehicles) that were created for this purpose and can be used freely. The simulation platform supports flexible specification of sensor suites and environmental conditions. We use CARLA to study the performance of three approaches to autonomous driving: a classic modular pipeline, an end-to-end model trained via imitation learning, and an end-to-end model trained via reinforcement learning. The approaches are evaluated in controlled scenarios of increasing difficulty, and their performance is examined via metrics provided by CARLA, illustrating the platform's utility for autonomous driving research. The supplementary video can be viewed at https://youtu.be/Hp8Dz-Zek2E

研究动机与目标

• 通过提供开放的城市驾驶环境和资源，使自动驾驶研究民主化。
• 使感知与控制策略的训练、原型开发与验证成为可能。
• 在城市环境中评估模块化、模仿学习和强化学习方法的性能与泛化能力。
• 提供详细的传感器、环境和违规信号，以分析行驶策略。

提出的方法

• 基于 Unreal Engine 4 构建，在服务器-客户端架构中提供高保真渲染和物理仿真。
• 提供两个城镇的开放数字资产（城镇布局、车辆、行人），覆盖多样的天气和照明条件。
• 在受控的目标导向导航任务中评估三种驾驶方法：模块化管线、模仿学习和强化学习。
• 使用拓扑规划器（A*）提供无度量地图的高层路线引导。
• 实现传感器套件，包括 RGB 摄像机与地面真实深度/语义分割作为伪传感器。
• 使用任务成功率和违规分析等指标对比各方法，在 Town 1（训练）和 Town 2（测试）之间进行。

实验结果

研究问题

• RQ1 在城市仿真器中，模块化、模仿学习和强化学习驱动策略的效果有何差异？
• RQ2 训练条件、未见城镇和未见天气对各方法泛化性的影响是什么？
• RQ3 哪种方法表现出更好的鲁棒性，以及在多样化场景下感知、规划和控制如何交互？

主要发现

任务	MP（训练）	IL（训练）	RL（训练）	MP（新城镇）	IL（新城镇）	RL（新城镇）	MP（新天气）	IL（新天气）	RL（新天气）	MP（新城镇与天气）	IL（新城镇与天气）	RL（新城镇与天气）
直线	98	95	89	92	97	74	100	98	86	50	80	68
一个转弯	82	89	34	61	59	12	95	90	16	50	48	20
导航	80	86	14	24	40	3	94	84	2	47	44	6
导航动态	77	83	7	24	38	2	89	82	2	44	42	4

• 即使在训练条件下的简单直线任务中，所有方法也表现出不完美。
• 在新城镇上的泛化比在新天气上的泛化更困难。
• 在大多数任务和条件下，模仿学习和模块化管线通常优于强化学习。
• 尽管训练天数和样本更多，强化学习相对于模仿学习和模块化管线表现不佳。
• 端到端强化学习在某些类别中呈现更高的违规率且对汽车和静态物体的泛化较差，凸显鲁棒性问题。
• 感知堆栈的可靠性对导航成功至关重要，尤其是在新城镇。