[论文解读] Holistic Transformer: A Joint Neural Network for Trajectory Prediction and Decision-Making of Autonomous Vehicles

Hongyu Hu, Qi Wang+3 more|arXiv (Cornell University)|Jun 17, 2022

Autonomous Vehicle Technology and Safety被引用 6

一句话总结

本文提出了一种整体性Transformer模型，通过三种专用注意力机制整合多种环境线索，实现自动驾驶车辆的轨迹预测与行为决策的联合神经网络。与分离的预测-决策框架相比，该模型在性能和鲁棒性方面表现更优，通过统一的上下文感知推理，降低了计算成本并提升了可解释性。

ABSTRACT

Trajectory prediction and behavioral decision-making are two important tasks for autonomous vehicles that require good understanding of the environmental context; behavioral decisions are better made by referring to the outputs of trajectory predictions. However, most current solutions perform these two tasks separately. Therefore, a joint neural network that combines multiple cues is proposed and named as the holistic transformer to predict trajectories and make behavioral decisions simultaneously. To better explore the intrinsic relationships between cues, the network uses existing knowledge and adopts three kinds of attention mechanisms: the sparse multi-head type for reducing noise impact, feature selection sparse type for optimally using partial prior knowledge, and multi-head with sigmoid activation type for optimally using posteriori knowledge. Compared with other trajectory prediction models, the proposed model has better comprehensive performance and good interpretability. Perceptual noise robustness experiments demonstrate that the proposed model has good noise robustness. Thus, simultaneous trajectory prediction and behavioral decision-making combining multiple cues can reduce computational costs and enhance semantic relationships between scenes and agents.

研究动机与目标

• 解决自动驾驶车辆中解耦轨迹预测与决策的局限性。
• 通过联合建模智能体与环境之间的语义关系，提升性能。
• 在真实驾驶场景中提升对感知噪声的鲁棒性。
• 通过消除独立模型中的冗余处理，降低计算成本。
• 通过注意力机制提升可解释性，突出显示相关上下文线索。

提出的方法

• 整体性Transformer采用多模态Transformer架构，同时处理历史轨迹和场景上下文。
• 集成三种注意力机制：稀疏多头注意力用于抑制噪声，特征选择稀疏注意力用于优先考虑先验知识，多头结合Sigmoid激活用于利用后验知识。
• 网络以端到端方式联合预测未来轨迹并选择最优驾驶行为（如变道、跟驰等）。
• 注意力机制旨在建模交通参与者之间的长距离依赖关系和动态交互。
• 使用结合轨迹预测与动作分类目标的多任务损失函数进行端到端训练。
• 采用可学习的位置编码以保留输入序列中的时间顺序和空间关系。

实验结果

研究问题

• RQ1 统一的神经网络能否有效结合自动驾驶车辆的轨迹预测与行为决策？
• RQ2 不同注意力机制在驾驶场景中如何提升对感知噪声的鲁棒性？
• RQ3 与独立的预测与决策模块相比，联合学习在多大程度上提升了性能？
• RQ4 注意力机制能否被设计为在复杂交通环境中最优地利用先验与后验知识？
• RQ5 联合架构是否在保持或提升预测精度的同时降低了计算成本？

主要发现

• 整体性Transformer在轨迹预测基准上达到最先进性能，优于独立模型，无论在准确率还是泛化能力方面均表现更优。
• 该模型在感知噪声环境下表现出强鲁棒性，即使在传感器输入存在噪声时仍能保持高性能。
• 多种注意力机制的使用通过突出显示相关场景与智能体特征，显著提升了可解释性。
• 联合训练框架相比训练两个独立网络，显著降低了计算开销。
• 该模型在各类驾驶场景（包括十字路口和高速公路汇入）中表现一致更优。
• 消融实验确认，每种注意力机制均对整体性能有显著贡献，尤其在噪声条件下更为明显。