[论文解读] Interaction Modeling with Multiplex Attention

Fan-Yun Sun, Isaac Kauvar+5 more|arXiv (Cornell University)|Aug 23, 2022

Anomaly Detection Techniques and Applications被引用 11

一句话总结

本文提出了一种名为多路注意力交互建模（IMMA）的新轨迹预测模型，该模型利用具有注意力机制的多路潜在图，显式表示多类独立交互类型（如目标导向运动与碰撞规避）在多智能体系统中的作用。通过引入渐进式层训练（PLT），IMMA在社交导航、协作任务和团队运动等场景中均实现了轨迹预测与关系推理的最先进性能，同时提升了可解释性与零样本泛化能力。

ABSTRACT

Modeling multi-agent systems requires understanding how agents interact. Such systems are often difficult to model because they can involve a variety of types of interactions that layer together to drive rich social behavioral dynamics. Here we introduce a method for accurately modeling multi-agent systems. We present Interaction Modeling with Multiplex Attention (IMMA), a forward prediction model that uses a multiplex latent graph to represent multiple independent types of interactions and attention to account for relations of different strengths. We also introduce Progressive Layer Training, a training strategy for this architecture. We show that our approach outperforms state-of-the-art models in trajectory forecasting and relation inference, spanning three multi-agent scenarios: social navigation, cooperative task achievement, and team sports. We further demonstrate that our approach can improve zero-shot generalization and allows us to probe how different interactions impact agent behavior.

研究动机与目标

• 为解决现有模型中常被混淆的目标导向与碰撞规避等复杂分层交互建模挑战。
• 在社交导航、协作任务和团队运动等多样化社交多智能体环境中，提升轨迹预测准确率与关系推理能力。
• 通过多路图结构显式解耦交互类型，增强模型可解释性。
• 实现对未见环境的更好零样本泛化与条件生成能力。
• 开发一种训练策略，在不损失预测准确率的前提下，提升性能与交互类型的解耦程度。

提出的方法

• IMMA 采用多路潜在图结构，其中每一层代表一种独立的交互类型（如目标目的地、碰撞规避），各层之间共享节点。
• 在每一层内应用注意力机制，以建模智能体之间关系的强度，实现对交互影响的动态加权。
• 渐进式层训练（PLT）按顺序逐层训练模型，从较简单的交互关系开始，以改善优化效果并增强解耦能力。
• 通过端到端的轨迹预测损失进行训练，不依赖交互类型的显式监督，使模型能从行为中推断高层关系。
• 采用基于图注意力网络（GAT）的架构处理每一层，并通过跨层聚合信息以生成最终预测。
• 通过解耦交互类型并支持可控推理，该方法支持条件生成与零样本泛化。

实验结果

研究问题

• RQ1 多路注意力图结构是否能提升具有分层交互的多智能体系统中的轨迹预测性能？
• RQ2 渐进式层训练（PLT）是否能同时提升多智能体预测模型的性能与可解释性？
• RQ3 IMMA 在未见过的环境（如更快的智能体、更高密度或更多智能体）中泛化能力如何？
• RQ4 在无显式监督的情况下，IMMA 能在多大程度上推断出有意义且解耦的交互类型（如合作与规避）？
• RQ5 模型的解耦表征是否能支持条件生成并提升样本效率？

主要发现

• 在社交导航环境上，采用渐进式层训练的 IMMA（MG + PLT）达到最低 ADE（0.192 ± 0.001）与 FDE（0.383 ± 0.002），优于所有基线模型。
• 在 2 倍更多智能体的泛化设置下，MG + PLT 的 ADE 为 0.195 ± 0.001，FDE 为 0.406 ± 0.002，显著优于次优基线模型（FDE：0.659 ± 0.007）。
• 在 2 倍更多智能体设置下，IMMA 的图准确率达到 81.38 ± 0.29%，表明其具备强大的关系推理能力。
• 在零样本泛化设置下，MG + PLT 在所有修改后的环境（2 倍速度、2 倍小尺寸、2 倍更多智能体）中均保持优越性能，ADE 与 FDE 持续提升。
• 样本效率分析显示，IMMA 在所有训练数据规模下均优于 RFM，尤其在低数据设置下表现更优。
• 通过 NMI 分数验证，IMMA 的解耦表征显示：通过 PLT 显式建模各层，可实现更优的解耦效果（NMI：0.13），优于采用显式解耦损失的方法（NMI：0.042），且未牺牲准确性。