[论文解读] End-to-end driving simulation via angle branched network

Qing Wang, Long Chen+1 more|arXiv (Cornell University)|May 19, 2018

Autonomous Vehicle Technology and Safety参考文献 19被引用 10

一句话总结

本文提出了一种基于新型导航指令‘子目标角度’和角度分支网络架构的端到端驾驶仿真框架。通过将图像、深度和语义分割输入与一种利用子目标角度路由特征的分支模型相结合，该方法在CARLA城市仿真中实现了94%的成功率和99.0%的正常驾驶率，与基线模型相比，显著降低了与车辆和行人的碰撞次数。

ABSTRACT

Imitation learning for end-to-end autonomous driving has drawn attention from academic communities. Current methods either only use images as the input which is ambiguous when a car approaches an intersection, or use additional command information to navigate the vehicle but not automated enough. Focusing on making the vehicle drive along the given path, we propose a new navigation command that does not require human's participation and a novel model architecture called angle branched network. Both the new navigation command and the angle branched network are easy to understand and effective. Besides, we find that not only segmentation information but also depth information can boost the performance of the driving model. We conduct experiments in a 3D urban simulator and both qualitative and quantitative evaluation results show the effectiveness of our model.

研究动机与目标

• 为解决在接近路口时端到端驾驶中因图像输入模糊而导致转向决策难以区分的问题。
• 开发一种自主、可解释且有效的导航指令，用于路径跟踪，无需人工提供的指令。
• 设计一种新型分支神经网络架构，利用导航指令引导特征处理，提升驾驶策略的鲁棒性。
• 探究深度和语义分割信息对碰撞减少及整体驾驶性能的影响。

提出的方法

• 提出一种新型导航指令‘子目标角度’，基于车辆当前位置与路径上的离散点（子目标点）计算得出，用于指导转向决策。
• 设计角度分支网络，其中子目标角度决定输入特征通过网络的哪条分支，实现基于导航意图的条件化特征学习。
• 使用前向摄像头、车速以及附加输入（RGB、深度、语义分割）作为观测输入，训练端到端策略网络。
• 在CARLA模拟器中收集的专家示范数据上使用模仿学习训练模型，输出为转向角度和二值化油门控制。
• 将深度图像归一化至[0,12]范围，以与其它输入的数值尺度对齐，提升训练稳定性。
• 通过成功率、正常驾驶率以及碰撞指标（与行人、车辆及其他物体的碰撞）评估性能。

实验结果

研究问题

• RQ1 与仅使用高层指令或仅使用图像的基线模型相比，子目标角度导航指令是否能提升端到端驾驶性能？
• RQ2 利用子目标角度路由特征的分支网络架构是否能带来更好的泛化能力与更低的碰撞率？
• RQ3 在多大程度上，融合深度和语义分割信息能减少与行人和车辆等动态障碍物的碰撞？
• RQ4 子目标角度与多模态输入（RGB、深度、语义分割）的结合如何影响城市仿真中的成功率与正常驾驶率？

主要发现

• 角度分支（rgbds）模型在成功率上达到最高值94%，正常驾驶率也达到99.0%，在两项指标上均优于所有其他模型。
• 角度输入（rgbs）模型的成功率为92%，正常驾驶率为99.5%，显著优于基线模型（54%成功率）。
• 引入深度信息可降低碰撞率：角度输入（rgbds）模型的车辆碰撞率为每公里0.30次，行人碰撞率为0.41次，而角度输入（rgbs）模型分别为1.04次和0.62次。
• 尽管损失值略高，角度分支（rgbds）模型在鲁棒性与碰撞率方面优于角度输入（rgbds）模型，表明其泛化能力更强。
• 基线模型的失败案例主要源于错误的转向预测，而角度输入（rgbs）模型的失败则主要源于油门误判，凸显了子目标角度在转向预测中的优势。
• 深度信息显著减少了与车辆和行人的碰撞，证明其在现实世界安全性中的关键作用，即使在某些配置下略微降低了正常驾驶率。