[论文解读] GroupNet: Multiscale Hypergraph Neural Networks for Trajectory Prediction with Relational Reasoning

Chenxin Xu, Maosen Li+3 more|arXiv (Cornell University)|Apr 19, 2022

Anomaly Detection Techniques and Applications被引用 7

一句话总结

GroupNet 是一种多尺度超图神经网络，通过可学习的超图拓扑结构和三元交互嵌入（强度、类别、类别函数）来建模智能体之间的成对与群体交互。它通过显式的关系推理提升了轨迹预测性能，在将现有模型集成后，于 NBA、SDD 和 ETH-UCY 数据集上均实现了最先进性能。

ABSTRACT

Demystifying the interactions among multiple agents from their past trajectories is fundamental to precise and interpretable trajectory prediction. However, previous works only consider pair-wise interactions with limited relational reasoning. To promote more comprehensive interaction modeling for relational reasoning, we propose GroupNet, a multiscale hypergraph neural network, which is novel in terms of both interaction capturing and representation learning. From the aspect of interaction capturing, we propose a trainable multiscale hypergraph to capture both pair-wise and group-wise interactions at multiple group sizes. From the aspect of interaction representation learning, we propose a three-element format that can be learnt end-to-end and explicitly reason some relational factors including the interaction strength and category. We apply GroupNet into both CVAE-based prediction system and previous state-of-the-art prediction systems for predicting socially plausible trajectories with relational reasoning. To validate the ability of relational reasoning, we experiment with synthetic physics simulations to reflect the ability to capture group behaviors, reason interaction strength and interaction category. To validate the effectiveness of prediction, we conduct extensive experiments on three real-world trajectory prediction datasets, including NBA, SDD and ETH-UCY; and we show that with GroupNet, the CVAE-based prediction system outperforms state-of-the-art methods. We also show that adding GroupNet will further improve the performance of previous state-of-the-art prediction systems.

研究动机与目标

• 通过建模超越成对关系的复杂社交交互，提升轨迹预测性能。
• 通过可微分、端到端的方式学习交互强度与类别，实现显式的关系推理。
• 开发一个即插即用的模块，无需对现有预测框架进行架构重构即可增强性能。
• 验证模型在合成与真实世界场景中捕捉群体行为与交互动态的能力。

提出的方法

• 提出一种可学习的多尺度超图，从数据端到端学习，以捕捉多种群体规模下的交互。
• 引入三元交互表示：神经交互强度、交互类别以及用于关系推理的类别函数。
• 在多尺度超图上使用神经消息传递，将交互表示聚合为智能体嵌入。
• 采用基于 CVAE 的框架，并以 NMMP、PECNet、Trajectron++ 等最先进模型作为基线，评估 GroupNet 的即插即用能力。
• 利用合成物理模拟评估无监督关系推理能力，包括群体行为捕捉与交互强度推断。
• 在真实世界数据集（NBA、SDD、ETH-UCY）上进行训练与微调，使用标准指标（minADE、minFDE）进行评估。

Figure 1 : GroupNet captures both pair-wise and group-wise interactions among multiple agents from their trajectories and infers the interaction category and strength for each interaction group.

实验结果

研究问题

• RQ1 可学习的多尺度超图是否能有效建模多智能体轨迹预测中的成对与群体交互？
• RQ2 所提出的三元交互表示（强度、类别、类别函数）是否能在无监督条件下实现显式且可学习的关系推理？
• RQ3 GroupNet 是否能在交互复杂度各异的真实世界数据集上持续提升性能？
• RQ4 GroupNet 的性能是否随群体规模增大与交互粒度细化而提升？
• RQ5 GroupNet 是否能有效集成到现有最先进预测模型中，进一步提升性能？

主要发现

• 当作为 CVAE 框架中的插件模块使用时，GroupNet 在 NBA、SDD 和 ETH-UCY 数据集上均实现了最先进性能。
• 在 NBA 数据集上，GroupNet 将 1.0 秒预测时 horizon 下的 minADE20 降低至 0.34m，minFDE20 降低至 0.48m，优于所有基线模型。
• 当集成到 NMMP、PECNet 和 Trajectron++ 中时，GroupNet 在全部三个数据集上均持续提升性能。
• 消融实验表明，随着群体尺度的增加，性能持续提升，当包含足够多的尺度（如 1,2,5,11）时趋于稳定。
• 合成物理模拟验证了 GroupNet 在无监督条件下推断交互强度与类别的能力，能够捕捉协调运动等群体行为。
• 模型展现出强大的泛化能力，在不同复杂度与交互模式的数据集上均保持一致的性能增益。

Figure 2 : The architecture of GroupNet. GroupNet has two stages: multiscale hypergraph topology inference and multiscale hypergraph neural message passing, where we infer the hypergraph topologies and capture the agent patterns with their interaction, respectively. In multiscale hypergraph neural m