[论文解读] Multi-modal Motion Prediction with Transformer-based Neural Network for Autonomous Driving

Zhiyu Huang, Xiaoyu Mo+1 more|arXiv (Cornell University)|Sep 14, 2021

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出了一种基于Transformer的运动预测模型，通过多模态注意力机制捕捉多样化智能体-地图交互关系，实现多模态轨迹预测。通过将多头注意力修改为每条轨迹独立的注意力模式，该模型在Argoverse基准上实现了最先进精度，且模型结构紧凑、可解释性强。

ABSTRACT

Predicting the behaviors of other agents on the road is critical for autonomous driving to ensure safety and efficiency. However, the challenging part is how to represent the social interactions between agents and output different possible trajectories with interpretability. In this paper, we introduce a neural prediction framework based on the Transformer structure to model the relationship among the interacting agents and extract the attention of the target agent on the map waypoints. Specifically, we organize the interacting agents into a graph and utilize the multi-head attention Transformer encoder to extract the relations between them. To address the multi-modality of motion prediction, we propose a multi-modal attention Transformer encoder, which modifies the multi-head attention mechanism to multi-modal attention, and each predicted trajectory is conditioned on an independent attention mode. The proposed model is validated on the Argoverse motion forecasting dataset and shows state-of-the-art prediction accuracy while maintaining a small model size and a simple training process. We also demonstrate that the multi-modal attention module can automatically identify different modes of the target agent's attention on the map, which improves the interpretability of the model.

研究动机与目标

• 解决在动态交通环境中建模自动驾驶车辆与周围智能体之间复杂多模态交互的挑战。
• 通过显式建模目标智能体对不同地图航点的关注，提升轨迹预测精度，尤其在具有多种行为意图的场景中。
• 通过使注意力机制自动识别并基于不同地图段（如转弯道、直行车道）进行条件判断，增强模型可解释性。
• 开发轻量化、高效的架构，在保持真实驾驶数据高性能的同时，最小化训练复杂度。
• 研究地图表示方式（车道级 vs. 航点级）以及注意力机制设计对预测性能与可解释性的影响。

提出的方法

• 使用基于航点的矢量地图表示驾驶场景，将每条车道编码为一系列空间航点，实现高分辨率地图表示。
• 通过图结构建模智能体之间的交互关系，将每个智能体视为与目标智能体相连的节点，并应用多头自注意力Transformer编码器提取关系特征。
• 提出一种新颖的多模态注意力机制，将标准多头注意力替换为每个注意力头作为独立模式，每个模式独立生成一条预测轨迹。
• 使用损失函数仅更新与真实轨迹最接近的注意力头，以保持预测模式之间的多样性。
• 使用两层交叉注意力Transformer：一层用于建模智能体-智能体交互，另一层用于建模智能体-地图注意力，共享位置编码以保证时空一致性。
• 应用简单的轨迹解码头，从多模态注意力层的最终隐藏状态生成未来轨迹。

实验结果

研究问题

• RQ1 与标准多头注意力相比，基于Transformer架构中修改的多模态注意力机制是否能提升多模态运动预测的准确性？
• RQ2 在预测精度与信息保留方面，基于航点的地图表示方式与基于车道的地图表示方式相比表现如何？
• RQ3 单个注意力头的注意力分数在多大程度上可被解释为模型对特定地图段（如转弯道）的关注，以支持不同预测行为？
• RQ4 与现有最先进模型相比，所提方法是否在更简单的训练流程和更小的模型规模下仍能实现具有竞争力的性能？
• RQ5 所提多模态注意力机制在复杂城市驾驶场景中，对预测轨迹的多样性与正确性有何贡献？

主要发现

• 在Argoverse测试集上，该模型实现了所有对比方法中最低的minADE（0.8372 m）与minFDE（1.2905 m），表明其轨迹预测精度显著优越。
• 模型展现出更好的可解释性：可视化结果显示，注意力头自然聚焦于相关地图航点（如左转预测时聚焦于左转道），证实模型学习到了有意义的行为意图。
• 使用航点级地图表示优于车道级表示，减少了信息损失，并提升了地图特征的分辨率。
• 多模态注意力机制显著优于基于集成的多模态预测方法（minADE：0.8372 vs. 0.8512），表明其在建模多样化行为方面的有效性。
• 尽管实现了最先进精度，该模型仍保持较小参数量与简单的训练流程，仅包含两层交叉注意力Transformer，支持快速推理与更易部署。
• 该模型的brier-minFDE（1.9393）与误检率（0.1429）略逊于HOME [24]，但这是由于损失函数未针对误检率进行优化，并非架构的根本缺陷。