[论文解读] TENET: Transformer Encoding Network for Effective Temporal Flow on Motion Prediction

Yuting Wang, Hangning Zhou+11 more|arXiv (Cornell University)|Jun 30, 2022

Autonomous Vehicle Technology and Safety被引用 8

一句话总结

TENET 提出了一种基于 Transformer 的运动预测模型，采用时间流头（Temporal Flow Header）以增强时间一致性，并利用 K-means 集成方法提升多模态性与预测置信度。该模型在 Argoverse 2 运动预测挑战赛中取得了最先进性能，brier-minFDE 得分为 1.90。

ABSTRACT

This technical report presents an effective method for motion prediction in autonomous driving. We develop a Transformer-based method for input encoding and trajectory prediction. Besides, we propose the Temporal Flow Header to enhance the trajectory encoding. In the end, an efficient K-means ensemble method is used. Using our Transformer network and ensemble method, we win the first place of Argoverse 2 Motion Forecasting Challenge with the state-of-the-art brier-minFDE score of 1.90.

研究动机与目标

• 通过提升预测多样性与置信度，解决自动驾驶中多模态轨迹预测的挑战。
• 通过从未来到历史的反向流建模，增强运动预测的时间一致性。
• 开发一种高效的训练策略，在保持推理阶段性能的同时加速模型训练。
• 通过一种新颖的基于 K-means 的多轨迹集成方法，提升预测的鲁棒性与准确性。
• 利用统一的 Transformer 架构，在 Argoverse 2 运动预测基准上实现最先进性能。

提出的方法

• 使用基于 Transformer 的编码器，通过时间维度与智能体维度的自注意力机制，建模智能体之间的时空交互。
• 通过可学习查询令牌与融合的智能体-地图特征之间的交叉注意力，生成轨迹预测。
• 引入时间流头作为辅助任务，从未来预测反向回归以重建历史轨迹，从而强制实现时间一致性。
• 通过带有残差连接的 LSTM 解码轨迹特征，结合两层 MLP，以减少长时程预测中的误差累积。
• 使用带有交叉注意力与 Softmax 的得分头，基于地图上下文为预测轨迹分配置信度分数。
• 在来自不同随机种子、训练轮次与困难样本挖掘水平的模型所生成的 $M \times K$ 条轨迹上，应用 K-means 集成方法，通过聚类与平均高置信度预测。

实验结果

研究问题

• RQ1 如何在运动预测模型中提升时间一致性，以减少长时程预测中的误差累积？
• RQ2 多轨迹集成策略对运动预测中预测多样性与置信度的影响是什么？
• RQ3 在训练与推理过程中采用高效的输入尺寸自适应策略，是否能提升训练速度而不损失测试精度？
• RQ4 将地图上下文融入轨迹评分机制，如何提升预测的可靠性？
• RQ5 时间流头在提升模型预测时间一致轨迹能力方面有何贡献？

主要发现

• TENET 在 Argoverse 2 运动预测挑战赛中获得第一名，brier-minFDE 得分为 1.90，优于所有其他方法。
• K-means 集成方法显著提升了预测质量，当同时采用大输入尺寸与集成策略时，brier-minFDE 从 2.03 降低至 1.90。
• 在推理阶段增大输入尺寸，同时在训练阶段减小输入尺寸，使训练速度提升约 30%，且未降低测试性能。
• 时间流头有助于提升时间一致性，表现为模型能够从未来预测中重建历史轨迹。
• 集成方法增强了多模态性，基于终点距离的聚类方法产生了更鲁棒且多样的预测结果。
• 最终的集成结果展现出作为知识蒸馏中教师模型的强大潜力，使单模型性能可逼近集成水平的准确率。