[论文解读] Improving the Generalization of End-to-End Driving through Procedural Generation

Quanyi Li, Zhenghao Peng+3 more|arXiv (Cornell University)|Dec 26, 2020

Autonomous Vehicle Technology and Safety参考文献 39被引用 9

一句话总结

本文提出了PGDrive，一个基于程序化生成、高度可配置的驾驶仿真器，旨在提升端到端深度学习驱动代理的泛化能力。通过从基础模块动态生成多样化的道路网络并改变交通状况，随着程序化多样性增加，训练显著降低了碰撞率，并提升了在未见场景中的表现，表明程序化生成可缓解过拟合并增强强化学习代理的鲁棒性。

ABSTRACT

Over the past few years there is a growing interest in the learning-based self driving system. To ensure safety, such systems are first developed and validated in simulators before being deployed in the real world. However, most of the existing driving simulators only contain a fixed set of scenes and a limited number of configurable settings. That might easily cause the overfitting issue for the learning-based driving systems as well as the lack of their generalization ability to unseen scenarios. To better evaluate and improve the generalization of end-to-end driving, we introduce an open-ended and highly configurable driving simulator called PGDrive, following a key feature of procedural generation. Diverse road networks are first generated by the proposed generation algorithm via sampling from elementary road blocks. Then they are turned into interactive training environments where traffic flows of nearby vehicles with realistic kinematics are rendered. We validate that training with the increasing number of procedurally generated scenes significantly improves the generalization of the agent across scenarios of different traffic densities and road networks. Many applications such as multi-agent traffic simulation and safe driving benchmark can be further built upon the simulator. To facilitate the joint research effort of end-to-end driving, we release the simulator and pretrained models at https://decisionforce.github.io/pgdrive

研究动机与目标

• 解决在有限、固定仿真环境上训练的端到端驾驶代理存在的过拟合与泛化能力差的问题。
• 开发一个可扩展、开放式的仿真器，支持道路网络与交通场景的高多样性，以评估和提升模型的泛化能力。
• 研究程序化生成对安全泛化及鲁棒性的影响，涵盖不同交通密度、摩擦系数和地图复杂度的场景。
• 为未来研究提供在受控、可复现且多样的仿真条件下，对端到端驾驶策略进行基准测试的能力。

提出的方法

• 定义基础道路模块（如直线、坡道、分叉、环岛、弯道、十字路口）并配置其参数，作为程序化地图生成的基础。
• 实现一种块增量生成算法，将这些模块的随机组合组装成可执行、可交互的驾驶环境。
• 集成真实的车辆运动学模型，并支持多模态观测输入（如激光雷达点云、RGB/深度相机、鸟瞰语义地图、标量数据），以模拟多样化的感官输入。
• 采用强化学习（PPO）方法，结合标准奖励设计与拉格朗日约束优化，训练在安全约束下的代理。
• 通过逐步增加程序化生成场景的数量，并控制交通密度和摩擦系数等因子，系统性地改变训练环境。
• 在包含多样化地图结构、交通流和环境条件的未见测试场景中，评估泛化性能。

实验结果

研究问题

• RQ1 程序化生成训练环境在多大程度上能提升端到端驾驶代理在未见道路网络与交通密度下的泛化能力？
• RQ2 训练多样性在多大程度上影响深度强化学习代理的安全泛化能力，特别是碰撞规避能力？
• RQ3 在单一道路模块类型上训练的代理能否泛化到复杂、多模块组合的环境？还是必须在复合地图上联合训练？
• RQ4 环境超参数（如交通密度与路面摩擦系数）如何影响训练策略的泛化性能？

主要发现

• 在不断增加的程序化生成环境中进行训练，显著降低了碰撞率，并提升了在未见场景中的表现，证明了泛化能力的提升。
• 与标准奖励设计相比，采用拉格朗日方法进行约束强化学习使测试轨迹成本降低了约50%，尤其在训练数据有限时效果更显著。
• 在[0.0, 0.4]范围内随机化交通密度进行训练的代理，比固定在0.1密度的代理更能泛化到更高密度（如0.5–0.6），表明输入多样性具有优势。
• 在包含多种模块类型（如三模块组合）的地图上训练的代理，其泛化能力显著优于在单一模块环境中训练的代理，即使后者在300个独立环境中训练。
• 在有限场景上训练的策略在安全性能上表现出过拟合，未见环境中碰撞率极高，凸显了缺乏多样化训练时在真实世界部署的风险。
• PGDrive在单台PC上可实现高达500次模拟步骤/秒，支持高效训练与评估，并具备并行化能力以实现可扩展性。