[论文解读] Golfer: Trajectory Prediction with Masked Goal Conditioning MnM Network

Xiaocheng Tang, Soheil Sadeghi Eshkevari+4 more|arXiv (Cornell University)|Jul 2, 2022

Autonomous Vehicle Technology and Safety被引用 6

一句话总结

该论文提出Golfer，一种用于自动驾驶车辆的新型轨迹预测模型，采用掩码目标条件化MnM（混合与匹配）网络。通过用高效的基于池化的MnM模块替代标准注意力机制，并结合分层场景编码与掩码目标条件化，Golfer在2022年Waymo开放数据集轨迹预测挑战赛中取得SOTA性能，minADE排名第一，Soft mAP排名第二。

ABSTRACT

Transformers have enabled breakthroughs in NLP and computer vision, and have recently began to show promising performance in trajectory prediction for Autonomous Vehicle (AV). How to efficiently model the interactive relationships between the ego agent and other road and dynamic objects remains challenging for the standard attention module. In this work we propose a general Transformer-like architectural module MnM network equipped with novel masked goal conditioning training procedures for AV trajectory prediction. The resulted model, named golfer, achieves state-of-the-art performance, winning the 2nd place in the 2022 Waymo Open Dataset Motion Prediction Challenge and ranked 1st place according to minADE.

研究动机与目标

• 为解决标准注意力机制在建模自车与动态物体及道路物体交互时的效率低下问题。
• 为Transformer中的自注意力机制开发一种更高效且表达力更强的替代方案，用于自动驾驶车辆运动预测。
• 通过分层向量化场景表征与掩码目标条件化，提升轨迹预测性能。
• 通过新颖且高效的架构，在Waymo开放数据集轨迹预测挑战赛中实现SOTA结果。
• 证明简单基于池化的操作在轨迹建模中可达到甚至超越注意力机制的性能。

提出的方法

• 核心组件是MnM模块，其为注意力机制的一般化形式，通过混合操作（如最大池化）与匹配操作（如拼接或逐元素相乘）来建模标记与上下文向量之间的交互。
• MnM模块作用于代理与道路物体的嵌入序列，利用二值掩码处理不完整或部分输入。
• 分层场景编码将道路多义线与代理轨迹表示为带上下文向量的点序列，实现多层级特征提取。
• 通过多头MnM模块实现交互建模，利用逐元素相乘与最大池化，将多义线与代理历史特征与自车特征聚合。
• 编码器通过堆叠的MnM模块提取局部、多义线级与场景级特征，生成解码器用的潜在特征向量。
• 解码器使用独立的MLP分支预测多条未来轨迹及其概率，最终通过加权聚类（k-means）合并输出，生成最终预测。

实验结果

研究问题

• RQ1 基于池化的、无注意力机制的架构是否能在自动驾驶车辆轨迹预测中实现与标准Transformer相当或更优的性能？
• RQ2 在复杂城市场景中，掩码目标条件化在提升异构代理轨迹预测准确性方面有多高效？
• RQ3 分层向量化场景表征是否在数据效率与语义表达力方面优于栅格化或基于多义线的表征？
• RQ4 简单的高效MnM模块是否能在不损失预测性能的前提下替代注意力机制？
• RQ5 通过聚类集成建模在多大程度上提升了轨迹预测的鲁棒性与准确性？

主要发现

• Golfer在2022年Waymo开放数据集轨迹预测挑战赛中，minADE排名第一，Soft mAP排名第二。
• 采用最大池化作为混合操作、拼接作为匹配操作的MnM模块，在显著降低计算成本的同时实现了优异性能。
• 分层场景编码实现了高数据效率，并保留了来自道路多义线与代理轨迹的语义上下文信息。
• 掩码目标条件化通过条件化于掩码目标状态，提升了模型预测多样化、合理未来轨迹的能力。
• 通过k-means聚类对模型输出进行集成预测，提升了轨迹预测的准确性和鲁棒性。
• 该模型表明，简单的非注意力机制在轨迹预测任务中可达到甚至超越基于注意力的Transformer模型的性能。