[论文解读] Exploiting map information for self-supervised learning in motion forecasting

Caio Azevedo, Thomas Gilles+2 more|arXiv (Cornell University)|Oct 10, 2022

Human Pose and Action Recognition被引用 4

一句话总结

本文提出了一种自监督学习辅助任务——Map Trajectories，通过利用地图图结构的连通性来提升运动预测性能。通过在多样化地图条件下的轨迹生成任务上进行预训练，该方法在Argoverse、Interaction和NuScenes数据集上实现了minFDE₆最高20.3%的提升和MissRate₆最高33.3%的降低，在Interaction挑战赛中取得了最先进水平的结果。

ABSTRACT

Inspired by recent developments regarding the application of self-supervised learning (SSL), we devise an auxiliary task for trajectory prediction that takes advantage of map-only information such as graph connectivity with the intent of improving map comprehension and generalization. We apply this auxiliary task through two frameworks - multitasking and pretraining. In either framework we observe significant improvement of our baseline in metrics such as $\mathrm{minFDE}_6$ (as much as 20.3%) and $\mathrm{MissRate}_6$ (as much as 33.3%), as well as a richer comprehension of map features demonstrated by different training configurations. The results obtained were consistent in all three data sets used for experiments: Argoverse, Interaction and NuScenes. We also submit our new pretrained model's results to the Interaction challenge and achieve $ extit{1st}$ place with respect to $\mathrm{minFDE}_6$ and $\mathrm{minADE}_6$.

研究动机与目标

• 通过自监督学习增强对地图的理解，以提升运动预测的泛化能力。
• 探究仅依赖地图信息（如车道连通性）是否可作为自监督学习中轨迹预测的有效辅助任务。
• 评估预训练与多任务学习框架在利用基于地图的辅助任务时的有效性。
• 通过在多样化地图几何结构上进行预训练，评估模型对未见过的地图类型（如环岛）的鲁棒性。

提出的方法

• 设计了一项自监督辅助任务Map Trajectories，利用车道线图连通性，从地图上的给定起点生成多样化未来轨迹。
• 通过改变速度、加速度和过去/未来轨迹长度，生成轨迹，并引入受控噪声以模拟真实世界中的变化性。
• 在两种框架中应用该辅助任务：多任务学习（与主任务联合优化）和预训练-微调（在地图数据上预训练，然后在轨迹数据上微调）。
• 采用基于图注意力和图卷积网络的基线模型，以编码地图与智能体之间的交互，解码完整的轨迹预测及其概率。
• 采用联合损失函数：对轨迹预测使用平滑L1损失，对预测概率使用交叉熵损失，主损失为两者的加权和。
• 预训练在大规模地图数据上进行，无需真实轨迹监督，使模型能够学习结构化的地图表征。

实验结果

研究问题

• RQ1 仅依赖地图信息（如车道连通性）是否可通过自监督学习提升运动预测的泛化能力？
• RQ2 在基于地图的辅助任务上进行预训练是否比多任务学习在运动预测中表现更优？
• RQ3 当预训练数据不包含此类类型时，模型在未见过的地图类型（如环岛）上的泛化能力如何？
• RQ4 轨迹生成过程中的每个步骤（如可变速度、加速度、噪声）对自监督任务最终性能的贡献是什么？

主要发现

• Map Trajectories预训练框架在Argoverse数据集上实现了minFDE₆相对降低20.3%和MissRate₆相对降低33.3%。
• 在Interaction数据集上，该方法在挑战赛中获得第一名，实现了最低的minFDE₆和minADE₆得分，展现出强大的泛化能力。
• 即使预训练数据中不包含环岛，模型在环岛地图上的minFDE₆仍实现了29.3%的相对提升，表明其对地图拓扑结构具有良好的泛化能力。
• 消融实验表明，每个轨迹生成步骤（尤其是固定加速度和噪声）均提升了直接预训练性能以及微调后的指标。
• 原始预训练性能与微调后性能高度相关，表明预训练质量可作为下游任务成功的可靠代理指标。
• 预训练框架优于多任务学习，表明对于此特定辅助任务，预训练可能比联合优化更有效。