[论文解读] Closing the gap towards end-to-end autonomous vehicle system

Yonatan Glassner, Liran Gispan+2 more|arXiv (Cornell University)|Jan 1, 2019

Autonomous Vehicle Technology and Safety参考文献 25被引用 6

一句话总结

本文提出一种端到端自动驾驶系统，通过预测驾驶轨迹而非直接预测控制指令，提升了可解释性、安全性和对罕见事件的鲁棒性。通过结合高斯混合模型损失以建模多模态行为，以及使用条件风险价值（CVaR）损失以优先处理困难案例，该系统在高速公路仿真中实现了零碰撞，展示了通往安全、数据高效且可解释的端到端学习的实用路径。

ABSTRACT

Designing a driving policy for autonomous vehicles is a difficult task. Recent studies suggested an end-toend (E2E) training of a policy to predict car actuators directly from raw sensory inputs. It is appealing due to the ease of labeled data collection and since handcrafted features are avoided. Explicit drawbacks such as interpretability, safety enforcement and learning efficiency limit the practical application of the approach. In this paper, we amend the basic E2E architecture to address these shortcomings, while retaining the power of end-to-end learning. A key element in our proposed architecture is formulation of the learning problem as learning of trajectory. We also apply a Gaussian mixture model loss to contend with multi-modal data, and adopt a finance risk measure, conditional value at risk, to emphasize rare events. We analyze the effect of each concept and present driving performance in a highway scenario in the TORCS simulator. Video is available in this link: https://www.youtube.com/watch?v=1JYNBZNOe_4

研究动机与目标

• 解决端到端（E2E）自动驾驶在可解释性、安全性和学习效率方面的挑战。
• 提升在专家演示中代表性不足的罕见但关键驾驶场景（如弯道和超车）下的性能。
• 通过从直接执行指令预测转向轨迹预测，实现更安全、更可解释的驾驶策略。
• 设计一种系统架构，在保留端到端学习的数据效率和特征学习优势的同时，整合安全与导航约束。
• 证明端到端学习可在复杂、类真实世界的仿真环境中实现高安全性表现（零碰撞）。

提出的方法

• 将端到端学习问题重新表述为轨迹预测而非直接控制指令回归，从而提升可解释性与安全性验证能力。
• 采用高斯混合模型（GMM）损失，在连续输出空间中建模多模态驾驶决策（如超车与保持车道）。
• 应用条件风险价值（CVaR）损失，强调对最困难、高误差案例的优化，特别是如弯道和超车等罕见事件。
• 引入辅助可操作性头，用于预测驾驶决策的置信度，提升系统可解释性并降低碰撞率。
• 采用残差网络（ResNet-34）进行感知，利用LQR控制器从预测轨迹生成低层执行指令。
• 采用标准均方误差损失与基于CVaR的损失相结合的方式进行模型训练，并采用数据采样策略，优先选择多样化且具有挑战性的场景。

实验结果

研究问题

• RQ1 与直接执行指令预测相比，基于轨迹的端到端学习是否能提升自动驾驶的可解释性与安全性？
• RQ2 在端到端学习框架中，如何有效建模多模态驾驶行为（如超车与车道保持）？
• RQ3 基于CVaR的损失函数是否能提升在罕见但关键驾驶事件（如急弯或紧急操作）上的学习效率与鲁棒性？
• RQ4 辅助监督（如可操作性预测）在多大程度上能增强端到端自动驾驶系统的碰撞规避能力与系统可解释性？
• RQ5 在不显式使用世界状态表示或模块化分解的情况下，端到端系统是否能在复杂高速公路仿真环境中实现零碰撞？

主要发现

• 所提系统在TORCS高速公路仿真器中实现了每100英里零碰撞，显著优于基线端到端方法。
• 采用CVaR损失后，碰撞率从每100英里0.83次降至0次，证明其在优先处理困难案例方面的有效性。
• 引入可操作性预测后，碰撞率从每100英里12.7次降至0.83次，凸显其在提升决策置信度与安全性方面的作用。
• GMM损失使网络能够建模如超车决策等多模态行为，而标准回归损失则无法捕捉此类行为。
• CVaR损失策略在最困难案例的第90百分位数上实现了可测量的性能提升，表现为损失分布右侧CVaR指标的降低。
• 消融实验证实，轨迹学习、GMM损失、可操作性头与CVaR损失等各组件的贡献具有累积效应，共同促成零碰撞结果。