[论文解读] Graph-SIM: A Graph-based Spatiotemporal Interaction Modelling for Pedestrian Action Prediction

Tiffany Yau, Saber Malekmohammadi+4 more|arXiv (Cornell University)|Dec 3, 2020

Autonomous Vehicle Technology and Safety参考文献 37被引用 4

一句话总结

本文提出 Graph-SIM，一种基于图的时空交互模型，通过使用鸟瞰图3D坐标、朝向和相对重要性权重来建模动态交互，预测行人过街行为。该研究引入了一个新数据集 PePScenes，包含3D边界框和行为标注，在关键指标上相比现有方法实现超过15%的性能提升，达到最先进水平。

ABSTRACT

One of the most crucial yet challenging tasks for autonomous vehicles in urban environments is predicting the future behaviour of nearby pedestrians, especially at points of crossing. Predicting behaviour depends on many social and environmental factors, particularly interactions between road users. Capturing such interactions requires a global view of the scene and dynamics of the road users in three-dimensional space. This information, however, is missing from the current pedestrian behaviour benchmark datasets. Motivated by these challenges, we propose 1) a novel graph-based model for predicting pedestrian crossing action. Our method models pedestrians' interactions with nearby road users through clustering and relative importance weighting of interactions using features obtained from the bird's-eye-view. 2) We introduce a new dataset that provides 3D bounding box and pedestrian behavioural annotations for the existing nuScenes dataset. On the new data, our approach achieves state-of-the-art performance by improving on various metrics by more than 15% in comparison to existing methods. The dataset is available at https://github.com/huawei-noah/datasets/PePScenes.

研究动机与目标

• 解决现有行人行为预测基准中缺乏3D空间和交互感知特征的问题。
• 通过使用鸟瞰图3D坐标和运动方向建模动态交互，提升行人过街预测性能。
• 提出一种基于图的交互建模方法，根据相对重要性对交互进行加权，结合距离、朝向和交通方向。
• 引入新数据集 PePScenes，扩展 nuScenes 以包含3D边界框和行人行为标注，提升基准评估能力。
• 通过融合自车动力学和行人运动特征，实现行人过街预测的最先进性能。

提出的方法

• 模型构建以行人为中心的星型图，节点代表道路使用者（行人和车辆），使用其鸟瞰图视角下的3D全局坐标和朝向。
• 边权重通过相对重要性函数计算，结合道路使用者之间的距离和方向对齐，比仅依赖距离的方法更准确地捕捉交通上下文。
• 图通过图神经网络（GNN）处理，聚合交互特征，并与目标行人和自车的时间动态特征通过循环结构融合。
• 应用聚类方法，根据行人之间的接近度和朝向对行人进行分组，以建模社会力和集体行为，提升交互表征能力。
• 最终预测头通过多层次融合动力学特征（位置、速度）和图编码的交互信息，对过街概率进行分类。
• 模型在新引入的数据集 PePScenes 上进行训练和评估，该数据集扩展了 nuScenes，包含密集的3D边界框和行人行为标注。

实验结果

研究问题

• RQ1 如何利用3D空间和方向信息，有效建模行人与周围道路使用者之间的时空交互？
• RQ2 引入自车动力学在多大程度上能提升行人过街预测性能？
• RQ3 基于3D坐标和朝向的聚类是否能比仅基于接近度的分组更好地捕捉社会群体行为？
• RQ4 与均匀加权或仅依赖距离的加权方式相比，基于距离和运动方向的相对重要性加权如何提升交互建模效果？
• RQ5 基于图的模型结合3D鸟瞰图特征，是否能在行人行为预测上超越现有最先进方法？

主要发现

• 完整版 Graph-SIM 模型（融合行人和自车动力学）在 PePScenes 数据集上达到 94.4% 准确率、85.8% AUC、81.4% F1 和 92.1% 精确率。
• 相比基线模型 Social-STGCNN，F1 和精确率分别提升 29% 和 20%，表现出显著的性能增益。
• 引入自车动力学带来的性能提升超过仅使用行人动力学，凸显其对行人行为的主导影响。
• 结合方向感知的相对重要性建模优于仅依赖距离的加权方式，F1 指标相比 Social-STGCNN 提升 7.6 个百分点。
• 基于朝向和接近度的聚类相比仅基于接近度的聚类，精确率提升 5%，表明对群体行为的建模更优。
• 消融实验确认，将行人位置和速度特征联合使用，性能显著优于单独使用任一特征。