[论文解读] DenseTNT: End-to-end Trajectory Prediction from Dense Goal Sets

Junru Gu, Chen Sun+1 more|arXiv (Cornell University)|Aug 22, 2021

Autonomous Vehicle Technology and Safety参考文献 39被引用 18

一句话总结

DenseTNT 提出了一种无锚点、端到端的轨迹预测模型，通过预测密集的目标概率并利用基于优化的伪标签选择最优目标集，生成多样化、高覆盖度的未来轨迹。该模型在性能上达到当前最先进水平，在 Argoverse 基准测试中排名第一，并赢得 2021 年 Waymo 开放数据集运动预测挑战赛冠军。

ABSTRACT

Due to the stochasticity of human behaviors, predicting the future trajectories of road agents is challenging for autonomous driving. Recently, goal-based multi-trajectory prediction methods are proved to be effective, where they first score over-sampled goal candidates and then select a final set from them. However, these methods usually involve goal predictions based on sparse pre-defined anchors and heuristic goal selection algorithms. In this work, we propose an anchor-free and end-to-end trajectory prediction model, named DenseTNT, that directly outputs a set of trajectories from dense goal candidates. In addition, we introduce an offline optimization-based technique to provide multi-future pseudo-labels for our final online model. Experiments show that DenseTNT achieves state-of-the-art performance, ranking 1st on the Argoverse motion forecasting benchmark and being the 1st place winner of the 2021 Waymo Open Dataset Motion Prediction Challenge.

研究动机与目标

• 为解决多轨迹预测中稀疏锚点方法在目标预测方面的局限性，例如对细粒度空间细节建模能力差以及依赖 NMS 等启发式后处理方法的问题。
• 通过端到端方式直接预测目标集合，消除对基于规则的目标选择（如 NMS）的需求。
• 通过引入离线基于优化的伪标签策略，实现即使在多未来轨迹真实标签稀缺的情况下，也能有效训练多轨迹预测模型。
• 通过采用密集目标候选采样来捕捉车道上的局部空间变化，提升轨迹预测性能。
• 通过新颖的训练范式与网络架构，在主要基准测试（包括 Argoverse 和 Waymo 开放数据集）上实现最先进性能。

提出的方法

• 模型使用稀疏上下文编码器，从高清地图和周围智能体中提取特征。
• 密集目标编码器在车道中心线上对大量密集采样的目标候选点预测概率分布。
• 目标集预测器执行多标签预测，从密集概率分布中选择出高概率目标集合，替代启发式后处理方法。
• 离线优化模型通过与在线模型相同的优化目标，从密集概率图中寻找全局最优目标集合，生成多未来伪标签。
• 在线模型使用这些伪标签进行训练，实现端到端学习，而无需每个样本都具备多个真实未来轨迹。
• 优化算法在离线阶段运行，以生成高质量训练目标，运行时间经过调优以平衡性能与效率。

实验结果

研究问题

• RQ1 通过消除稀疏锚点目标预测和启发式后处理，端到端轨迹预测模型是否能够实现更优性能？
• RQ2 基于优化的离线模型在生成高质量、多样化伪标签以用于在线轨迹预测器训练方面，效果如何？
• RQ3 与稀疏锚点方法相比，密集目标候选采样是否能更好地建模细粒度空间变化？
• RQ4 目标集预测器的设计在多大程度上使在线模型能够达到离线优化模型的性能水平？
• RQ5 目标采样密度与优化时间对最终预测性能有何影响？

主要发现

• DenseTNT 在 Argoverse 运动预测基准测试中表现最佳，mADE 为 1.0387，mFDE 为 1.5514。
• 在 2021 年 Waymo 开放数据集运动预测挑战赛中排名首位，mAP 达到 0.3281，优于所有其他方法。
• 模型性能与离线优化模型非常接近，证明了目标集预测器和训练范式的有效性。
• 当目标采样密度从 3.0m 提高到 0.5m 时，minFDE 从 1.42 降低到 1.27，且在 1.0m 以上无进一步提升，表明性能在高密度下趋于饱和。
• 每样本的优化时间有显著影响：性能在 100ms 内快速提升，200ms 后趋于稳定，超过 500ms 后无进一步增益。
• 密集概率估计优于稀疏估计，尤其在结合目标集预测器时，显著超越基于 NMS 的基线方法。