[论文解读] Exploring Social Posterior Collapse in Variational Autoencoder for Interaction Modeling

Chen Tang, Wei Zhan+1 more|arXiv (Cornell University)|Dec 1, 2021

Human Mobility and Location-Based Analysis被引用 7

一句话总结

本文识别并解决了变分自编码器（VAEs）在多智能体交互建模中的“社交后验坍缩”问题，即模型在轨迹预测过程中忽略历史社交上下文。作者提出了一种新型稀疏图注意力消息传递（sparse-GAMP）层及正则化技术，以改进交互的潜在空间建模，在Argoverse和ETH/UCY等真实世界数据集上显著提升了性能。

ABSTRACT

Multi-agent behavior modeling and trajectory forecasting are crucial for the safe navigation of autonomous agents in interactive scenarios. Variational Autoencoder (VAE) has been widely applied in multi-agent interaction modeling to generate diverse behavior and learn a low-dimensional representation for interacting systems. However, existing literature did not formally discuss if a VAE-based model can properly encode interaction into its latent space. In this work, we argue that one of the typical formulations of VAEs in multi-agent modeling suffers from an issue we refer to as social posterior collapse, i.e., the model is prone to ignoring historical social context when predicting the future trajectory of an agent. It could cause significant prediction errors and poor generalization performance. We analyze the reason behind this under-explored phenomenon and propose several measures to tackle it. Afterward, we implement the proposed framework and experiment on real-world datasets for multi-agent trajectory prediction. In particular, we propose a novel sparse graph attention message-passing (sparse-GAMP) layer, which helps us detect social posterior collapse in our experiments. In the experiments, we verify that social posterior collapse indeed occurs. Also, the proposed measures are effective in alleviating the issue. As a result, the model attains better generalization performance when historical social context is informative for prediction.

研究动机与目标

• 研究基于VAE的多智能体交互建模方法是否能正确地将社交上下文编码到潜在空间中。
• 识别并形式化“社交后验坍缩”现象，即模型在预测过程中忽略历史交互。
• 开发并验证缓解社交后验坍缩的方法，以提升泛化能力和预测准确性。
• 使用真实世界轨迹预测基准评估社交后验坍缩对模型性能的影响。
• 提出一种新型稀疏-GAMP层，用于在实践中检测和分析社交后验坍缩。

提出的方法

• 从现有文献中抽象出多智能体行为建模中常用的通用VAE公式。
• 提出一种新型稀疏图注意力消息传递（sparse-GAMP）层，以增强智能体间的消息传递，并检测社交后验坍缩。
• 引入正则化技术，防止模型在训练过程中忽略社交上下文。
• 采用KL退火和循环一致性损失以稳定训练并改善潜在空间的解耦。
• 使用条件VAE（CVAE）框架结合目标导向的潜在空间，以提升多模态建模能力。
• 采用两阶段训练流程：首先使用sparse-GAMP预训练编码器，然后使用完整VAE目标进行微调。

实验结果

研究问题

• RQ1 标准VAE公式在多智能体交互建模中是否会出现社交后验坍缩，即潜在空间未能编码历史社交上下文？
• RQ2 基于VAE的多智能体轨迹预测模型中，社交后验坍缩的潜在原因是什么？
• RQ3 所提出的sparse-GAMP层能否在真实世界数据集中有效检测和分析社交后验坍缩？
• RQ4 所提出的正则化与训练策略在多大程度上缓解了社交后验坍缩并提升了预测性能？
• RQ5 当历史社交上下文对预测具有信息量时，社交后验坍缩如何影响模型的泛化性能？

主要发现

• 在Argoverse和ETH/UCY等真实世界数据集上，标准VAE模型中观察到社交后验坍缩现象，即模型在推理过程中忽略社交上下文。
• 所提出的sparse-GAMP层成功检测到社交后验坍缩，并提升了模型捕捉交互依赖关系的能力。
• 在INTERACTION数据集上，采用所提正则化与训练策略的模型实现了15.5%的循环一致性率，显著优于基线VAE与CVAE模型。
• 在Argoverse数据集上，social-CVAE模型在K=6时达到最小FDE为1.3535，ADE为0.8546，优于多种先前方法在多模态预测中的表现。
• 在ETH/UCY数据集上，模型在K=20时达到最小FDE为0.99，ADE为0.64，显示出当社交上下文具有信息量时，泛化能力显著提升。
• 消融实验确认，社交后验坍缩会导致更高的预测误差和更差的泛化性能，尤其在交互上下文对准确预测至关重要的情况下。