[论文解读] LatentFormer: Multi-Agent Transformer-Based Interaction Modeling and Trajectory Prediction

Elmira Amirloo, Amir Rasouli+3 more|arXiv (Cornell University)|Mar 3, 2022

Autonomous Vehicle Technology and Safety被引用 13

一句话总结

LatentFormer 提出了一种基于分层 Transformer 架构的多智能体轨迹预测模型，通过自回归地关注未来状态，联合建模智能体之间的交互关系，同时利用视觉 Transformer 实现多分辨率地图编码。该模型在 nuScenes 基准测试中达到最先进性能，轨迹指标相比先前方法最高提升 40%。

ABSTRACT

Multi-agent trajectory prediction is a fundamental problem in autonomous driving. The key challenges in prediction are accurately anticipating the behavior of surrounding agents and understanding the scene context. To address these problems, we propose LatentFormer, a transformer-based model for predicting future vehicle trajectories. The proposed method leverages a novel technique for modeling interactions among dynamic objects in the scene. Contrary to many existing approaches which model cross-agent interactions during the observation time, our method additionally exploits the future states of the agents. This is accomplished using a hierarchical attention mechanism where the evolving states of the agents autoregressively control the contributions of past trajectories and scene encodings in the final prediction. Furthermore, we propose a multi-resolution map encoding scheme that relies on a vision transformer module to effectively capture both local and global scene context to guide the generation of more admissible future trajectories. We evaluate the proposed method on the nuScenes benchmark dataset and show that our approach achieves state-of-the-art performance and improves upon trajectory metrics by up to 40%. We further investigate the contributions of various components of the proposed technique via extensive ablation studies.

研究动机与目标

• 为解决自动驾驶中准确、多样且符合规范的多智能体轨迹预测挑战。
• 不仅基于过去轨迹，还通过条件化于预测的未来状态，建模智能体之间的动态交互。
• 通过基于视觉 Transformer 的多分辨率编码方案，融合局部与全局地图表征，提升场景上下文理解能力。
• 通过基于过去轨迹和地图特征的 CVAE 框架推断智能体意图，实现多模态轨迹生成。
• 评估自回归与非自回归推理在计算效率与预测质量之间的权衡。

提出的方法

• 模型采用分层注意力机制，其中预测的智能体状态作为查询，用于更新对过去观测和场景上下文的信念。
• 引入一种新型交互建模模块，通过自回归方式整合未来状态预测，以解决冲突并提升一致性。
• 采用多分辨率地图编码方案，提取局部与全局地图块，并通过视觉 Transformer 处理，以减少位置不变性偏差。
• 在解码过程中，将地图表征动态对齐至智能体状态，以建模智能体-环境交互。
• 采用条件变分自编码器（CVAE）框架推断离散智能体意图，实现多模态轨迹生成。
• 支持自回归与非自回归解码模式，后者可实现并行推理，提升效率。

实验结果

研究问题

• RQ1 在解码过程中建模未来智能体状态是否能提升多智能体轨迹预测的一致性与准确性？
• RQ2 基于视觉 Transformer 的多分辨率地图编码方案相较于传统的 CNN 地图编码器，在捕捉场景上下文方面表现如何？
• RQ3 对所有智能体进行联合而非独立预测，在多大程度上提升了轨迹质量与多样性？
• RQ4 在预测准确率与计算效率之间，自回归与非自回归推理的权衡如何？
• RQ5 各个组件——交互建模、地图编码与意图推断——对整体性能的贡献程度如何？

主要发现

• LatentFormer 在 nuScenes 基准测试中达到最先进性能，minADE 降低 0.38，avgFDE 降低 1.81，相比基线模型最高提升 40%。
• 同时包含地图编码与交互建模模块显著提升了性能，其中多分辨率视觉 Transformer 地图编码器使指标最高提升 30%。
• 自回归解码模式优于非自回归变体，minADE 分别为 0.38 与 0.42，尽管后者支持更快的并行推理。
• 消融实验表明，交互建模组件贡献显著，相比无交互建模的模型，avgFDE 提升 0.75 个点。
• 模型成功生成多样且符合规范的轨迹，尊重场景约束与智能体动力学，如在各类驾驶场景中的定性结果所示。
• 基于 CVAE 的意图建模有效实现多模态预测，使模型能够生成合理的替代行为，如在路口转弯或直行。