[论文解读] Autobots: Latent Variable Sequential Set Transformers

Roger Girgis, Florian Golemo+6 more|arXiv (Cornell University)|Feb 19, 2021

Autonomous Vehicle Technology and Safety参考文献 34被引用 5

一句话总结

该论文提出 AutoBots，一种新颖的潜在变量序列集合变换器架构，通过在代理集合序列上使用多头自注意力机制，联合编码社会时空关系，以建模多智能体轨迹。该方法在 NuScenes 数据集上达到最先进性能，并在 TrajNet 上优于基线模型，生成的未来轨迹具有场景一致性且全局连贯。

ABSTRACT

Robust multi-agent trajectory prediction is essential for the safe control of robots and vehicles that interact with humans. Many existing methods treat social and temporal information separately and therefore fall short of modelling the joint future trajectories of all agents in a socially consistent way. To address this, we propose a new class of Latent Variable Sequential Set Transformers which autoregressively model multi-agent trajectories. We refer to these architectures as AutoBots. AutoBots model the contents of sets (e.g. representing the properties of agents in a scene) over time and employ multi-head self-attention blocks over these sequences of sets to encode the sociotemporal relationships between the different actors of a scene. This produces either the trajectory of one ego-agent or a distribution over the future trajectories for all agents under consideration. Our approach works for general sequences of sets and we provide illustrative experiments modelling the sequential structure of the multiple strokes that make up symbols in the Omniglot data. For the single-agent prediction case, we validate our model on the NuScenes motion prediction task and achieve competitive results on the global leaderboard. In the multi-agent forecasting setting, we validate our model on TrajNet. We find that our method outperforms physical extrapolation and recurrent network baselines and generates scene-consistent trajectories.

研究动机与目标

• 解决现有方法在多智能体轨迹预测中将社交信息与时间信息分开处理的局限性。
• 开发一个统一框架，以社会一致的方式建模所有智能体的联合未来轨迹。
• 实现对随时间变化的代理状态集合序列的自回归建模。
• 在单智能体和多智能体运动预测基准上验证该方法。

提出的方法

• AutoBots 在集合序列上使用多头自注意力模块，以编码智能体之间的社会时空依赖关系。
• 模型使用潜在变量表示未来轨迹中的不确定性，从而实现分布式预测。
• 它将随时间动态变化的智能体集合（如位置、速度）作为序列进行处理，捕捉其时间演化过程。
• 该架构支持对所有智能体的未来轨迹进行自回归生成。
• 其设计具有通用性，可适用于任意集合序列，不限于轨迹预测任务。
• 模型训练目标为预测单个自车智能体的轨迹，或所有智能体轨迹的概率分布。

实验结果

研究问题

• RQ1 基于变换器的架构能否在多智能体轨迹预测中联合建模社交与时间依赖？
• RQ2 与物理外推和循环网络基线相比，所提出方法在生成场景一致轨迹方面表现如何？
• RQ3 对集合序列的自回归建模在真实世界运动预测基准上对预测精度的提升程度如何？
• RQ4 该模型能否泛化至非轨迹任务，例如在 Omniglot 数据集中建模顺序符号笔画？

主要发现

• 在 NuScenes 运动预测基准上，AutoBots 在单智能体轨迹预测的全局排行榜上取得了具有竞争力的结果。
• 在 TrajNet 基准上，AutoBots 在多智能体轨迹预测中优于物理外推和循环网络基线模型。
• 该模型生成的轨迹全局一致，且尊重智能体之间的社交互动。
• 在 Omniglot 上的可视化实验表明，该模型能够有效捕捉多笔画符号的序列结构。
• 潜在变量的使用使模型能够预测未来轨迹的概率分布，有效捕捉不确定性。
• 该架构成功建模了随时间变化的动态集合，展现出在多样化序列集合任务中的强大泛化能力。