[论文解读] CMTS: Conditional Multiple Trajectory Synthesizer for Generating Safety-critical Driving Scenarios

Wenhao Ding, Mengdi Xu+1 more|arXiv (Cornell University)|Sep 17, 2019

Autonomous Vehicle Technology and Safety参考文献 55被引用 6

一句话总结

CMTS 提出了一种变分贝叶斯框架，通过在安全轨迹和碰撞轨迹的潜在表征之间插值，结合道路地图条件，合成罕见且具有安全关键性的驾驶场景。通过生成真实数据集中不存在的近失事轨迹，CMTS 显著提升了在高风险场景下的轨迹预测准确性和鲁棒性，该方法在 Argoverse 基准测试中经由最先进模型验证，表现优异。

ABSTRACT

Naturalistic driving trajectories are crucial for the performance of autonomous driving algorithms. However, most of the data is collected in safe scenarios leading to the duplication of trajectories which are easy to be handled by currently developed algorithms. When considering safety, testing algorithms in near-miss scenarios that rarely show up in off-the-shelf datasets is a vital part of the evaluation. As a remedy, we propose a near-miss data synthesizing framework based on Variational Bayesian methods and term it as Conditional Multiple Trajectory Synthesizer (CMTS). We leverage a generative model conditioned on road maps to bridge safe and collision driving data by representing their distribution in the latent space. By sampling from the near-miss distribution, we can synthesize safety-critical data crucial for understanding traffic scenarios but not shown in neither the original dataset nor the collision dataset. Our experimental results demonstrate that the augmented dataset covers more kinds of driving scenarios, especially the near-miss ones, which help improve the trajectory prediction accuracy and the capability of dealing with risky driving scenarios.

研究动机与目标

• 解决真实世界数据集中近失事和安全关键性驾驶数据稀缺的问题。
• 提升轨迹预测模型在安全、重复性场景之外的泛化能力。
• 开发一种数据增强框架，通过潜在空间插值合成真实且罕见的驾驶行为。
• 利用地图条件的生成建模，弥合安全轨迹与碰撞轨迹之间的分布差距。
• 评估合成数据对提升自动驾驶系统预测准确性与风险感知能力的影响。

提出的方法

• CMTS 使用一种条件变分自编码器，包含序列轨迹编码器、地图编码器和轨迹解码器，以建模轨迹与道路地图的联合分布。
• 通过风格迁移将道路布局与驾驶行为解耦，实现在潜在空间中的地图条件生成。
• 模型分别学习安全轨迹与碰撞轨迹的潜在表征，然后在两者之间进行插值，以生成中间的近失事场景。
• 潜在空间插值以道路地图嵌入为条件，确保生成的轨迹在几何上合理。
• 该框架利用变分推断建模不确定性，生成多样化且逼真的驾驶行为。
• 通过从插值分布中采样生成合成数据，其中超参数 λ 控制生成轨迹接近风险场景的程度。

实验结果

研究问题

• RQ1 生成模型能否有效合成真实数据集中不存在的罕见且具有安全关键性的驾驶场景？
• RQ2 在安全与碰撞轨迹之间进行潜在空间插值，如何提升场景的多样性与真实性？
• RQ3 CMTS 生成的数据在多大程度上提升了轨迹预测模型在高风险驾驶场景下的性能？
• RQ4 地图条件生成是否提升了合成轨迹的合理性与空间一致性？
• RQ5 合成数据能否提升预测模型在原始数据分布之外的泛化能力？

主要发现

• CMTS 增强的数据集在非参数贝叶斯聚类中达到了最高的聚类数（K=215），表明其场景多样性高于原始数据集或碰撞数据集。
• CMTS 生成的数据引入了原始数据集中未曾出现的轨迹聚类，这从 CMTS+OD 相较于 OD 单独使用时更高的 K 值得到证实。
• 在 Argoverse 基准测试中，使用 CMTS 生成数据训练的模型在所有三种轨迹预测模型（Vanilla-LSTM、Social-LSTM、CS-LSTM）上均取得了最低的 MSE、MDV 和 MDN。
• 在六个设计的高风险场景中，使用 CMTS 数据训练的模型生成了更平滑、更准确的预测结果，而基于原始数据（OD）训练的模型则无法泛化至近失事情况。
• T-SNE 可视化结果表明，插值样本在潜在空间中形成了从安全轨迹到碰撞轨迹的连贯、连续路径，验证了模型生成合理中间场景的能力。
• 该框架成功生成了原始数据集或碰撞数据集中均不存在的罕见近失事轨迹，证明其在安全关键场景下具有有效的数据增强能力。