[论文解读] Exploring Imitation Learning for Autonomous Driving with Feedback Synthesizer and Differentiable Rasterization

Jinyun Zhou, Rui Wang+6 more|arXiv (Cornell University)|Mar 2, 2021

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

本文提出一种基于学习的自动驾驶规划方法，通过反馈合成器增强数据增强，并结合可微分栅格化器实现任务特定损失计算。该方法通过整合基于反馈的数据合成、可微分轨迹到图像的投影以及基于注意力的场景理解，实现了70.0%的ADS通过率，并显著提升了鲁棒性、安全性与推理速度。

ABSTRACT

We present a learning-based planner that aims to robustly drive a vehicle by mimicking human drivers' driving behavior. We leverage a mid-to-mid approach that allows us to manipulate the input to our imitation learning network freely. With that in mind, we propose a novel feedback synthesizer for data augmentation. It allows our agent to gain more driving experience in various previously unseen environments that are likely to encounter, thus improving overall performance. This is in contrast to prior works that rely purely on random synthesizers. Furthermore, rather than completely commit to imitating, we introduce task losses that penalize undesirable behaviors, such as collision, off-road, and so on. Unlike prior works, this is done by introducing a differentiable vehicle rasterizer that directly converts the waypoints output by the network into images. This effectively avoids the usage of heavyweight ConvLSTM networks, therefore, yields a faster model inference time. About the network architecture, we exploit an attention mechanism that allows the network to reason critical objects in the scene and produce better interpretable attention heatmaps. To further enhance the safety and robustness of the network, we add an optional optimization-based post-processing planner improving the driving comfort. We comprehensively validate our method's effectiveness in different scenarios that are specifically created for evaluating self-driving vehicles. Results demonstrate that our learning-based planner achieves high intelligence and can handle complex situations. Detailed ablation and visualization analysis are included to further demonstrate each of our proposed modules' effectiveness in our method.

研究动机与目标

• 通过基于反馈的合成器生成多样化、符合策略的训练数据，缓解模仿学习中的分布偏移问题。
• 通过引入可微分任务损失，惩罚碰撞、偏离道路及违反交通规则的行为，提升安全性和任务合规性。
• 通过用轻量级可微分栅格化器替代复杂的ConvLSTM网络，降低推理延迟。
• 通过空间注意力机制生成可可视化注意力热力图，提升可解释性与场景理解能力。
• 通过引入可选的基于优化的后处理规划器作为安全守门员，提升驾驶舒适性与鲁棒性。

提出的方法

• 采用中层到中层的模仿学习框架，以鸟瞰图地图和感知表征作为输入，支持灵活的数据操作。
• 设计一种反馈合成器，基于当前策略迭代生成并扰动符合策略的轨迹，减少分布偏移。
• 实现一种可微分车辆栅格化器，将预测的航点转换为像素级图像，支持端到端可微分损失计算。
• 通过将栅格化输出与预定义的目标掩码进行比较，集成任务特定损失（如碰撞、偏离道路、交通信号合规等）。
• 采用结合LSTM与运动学层的轨迹解码模块，生成满足运动学可行性的轨迹，避免依赖如AgentRNN等重型网络。
• 应用空间注意力机制突出关键交通参与者，提升决策过程的可解释性与因果推理能力。

实验结果

研究问题

• RQ1 基于反馈的合成器若能生成符合策略的数据，是否可显著改善模仿学习在自动驾驶中的泛化能力并减少分布偏移？
• RQ2 可微分栅格化在不依赖复杂时空网络的前提下，是否能实现高效、实时的任务损失计算？
• RQ3 通过可微分栅格化集成任务特定损失，相较于纯模仿学习，是否能更显著提升安全性与交通规则合规性？
• RQ4 基于注意力的特征学习是否能提升复杂驾驶场景下的可解释性与模型性能？
• RQ5 可选的后处理规划器是否能在保持高通过率的前提下，提升安全性与驾驶舒适性？

主要发现

• 反馈合成器将ADS通过率从M1的45.7%提升至M2的70.0%，在所有场景类型中均显著降低失败率。
• 可微分栅格化器通过消除对重型ConvLSTM网络的依赖，实现了实时推理，相较先前方法具有更快的模型推理速度。
• 后处理规划器（M3）实现了94.29%的ADS通过率，并将舒适度得分提升至0.1342，优于基于学习的规划器与传统车道中心线规划器。
• 通过反馈合成器进行数据增强略微降低了驾驶舒适度，新提出的舒适度度量指标揭示了多样性与平滑性之间的权衡。
• 采用高斯栅格化中截断处理的模型（M1c）表现劣于M1，表明长尾分布有助于障碍物规避与交通信号合规。
• 超速与未到达目标是主要的失败模式，提示未来可通过借鉴强化学习思想设计额外损失函数进行改进。