[论文解读] A Graph Attention Based Approach for Trajectory Prediction in Multi-agent Sports Games

Ding Ding, H. Howie Huang|arXiv (Cornell University)|Dec 18, 2020

Sports Analytics and Performance参考文献 19被引用 4

一句话总结

该论文提出了一种结合时间卷积网络（TCN）的图注意力网络，用于体育比赛中多智能体轨迹预测，实现了对球员间依赖关系的细粒度建模。通过学习团队特定策略的排列等变图注意力机制和长上下文时间建模，该方法在篮球和足球数据集上优于基于RNN和GNN的基线模型，达到最先进性能。

ABSTRACT

This work investigates the problem of multi-agents trajectory prediction. Prior approaches lack of capability of capturing fine-grained dependencies among coordinated agents. In this paper, we propose a spatial-temporal trajectory prediction approach that is able to learn the strategy of a team with multiple coordinated agents. In particular, we use graph-based attention model to learn the dependency of the agents. In addition, instead of utilizing the recurrent networks (e.g., VRNN, LSTM), our method uses a Temporal Convolutional Network (TCN) as the sequential model to support long effective history and provide important features such as parallelism and stable gradients. We demonstrate the validation and effectiveness of our approach on two different sports game datasets: basketball and soccer datasets. The result shows that compared to related approaches, our model that infers the dependency of players yields substantially improved performance. Code is available at https://github.com/iHeartGraph/predict

研究动机与目标

• 为解决先前方法在捕捉多智能体体育比赛中协调智能体之间细粒度、角色特定依赖关系方面的局限性。
• 开发一种从原始轨迹数据中学习团队特定策略、无需预定义角色的轨迹预测模型。
• 通过使用时间卷积网络（TCN）替代循环网络（如LSTM、VRNN），以提升梯度稳定性与长上下文建模能力。
• 通过使用全连接图结构实现排列等变建模，确保智能体顺序不影响预测结果。
• 通过实证评估验证模型在跨团队泛化与单团队策略专精方面的能力。

提出的方法

• 在每个时间步使用全连接图表示智能体，通过将球员对称处理确保排列等变性。
• 应用图注意力机制计算注意力系数，基于其空间位置和状态动态建模智能体之间的细粒度依赖关系。
• 采用时间卷积网络（TCN）作为序列模型，通过稳定梯度和并行计算捕捉长程时间依赖。
• 将智能体特征通过注意力模块处理，生成每个时间步的图嵌入，随后输入TCN的残差模块。
• 端到端训练整个模型，使用多头注意力机制提升表征学习能力，以预测所有智能体（包括球）的未来轨迹。
• 在TCN中采用残差模块设计，通过学习残差映射实现深层网络的稳定训练。

实验结果

研究问题

• RQ1 图注意力机制是否能有效建模多智能体体育比赛中球员之间的细粒度依赖关系？
• RQ2 用TCN替代循环网络是否能在准确性、训练稳定性和长上下文建模方面提升轨迹预测性能？
• RQ3 该模型能否在无预设角色分配的情况下，从轨迹数据中学习并推断出团队特定策略？
• RQ4 所提方法在篮球和足球数据集上与最先进方法相比表现如何？
• RQ5 在单支队伍与混合队伍上训练时，该模型是否在性能上表现更优？

主要发现

• 所提出的Graph + Attention + TCN模型在多伦多猛龙队防守数据集上达到最低平均L2误差4.95英尺，在进攻数据集上为6.20英尺，优于所有基线模型。
• 在防守预测任务中，模型将失误率降低至48.44%，显著低于次佳方法（Graph + VRNNs）的63.01%。
• 在进攻预测任务中，模型失误率为59.44%，低于Graph + VRNNs的63.21%，表明其在泛化能力和策略学习方面表现更优。
• 当仅建模单支球队（多伦多猛龙队）时，注意力模型相比非注意力基线有显著性能提升，表明其能有效学习团队特定策略。
• 基于TCN的序列模型实现了稳定训练与长有效历史建模，相比LSTM等RNN模型具有更优的梯度流动与并行计算能力。
• 消融研究证实图注意力机制对性能至关重要，移除后准确率显著下降，尤其在复杂协作场景中更为明显。