[论文解读] SoPhie: An Attentive GAN for Predicting Paths Compliant to Social and Physical Constraints

Amir Sadeghian, Vineet Kosaraju+4 more|arXiv (Cornell University)|Jun 4, 2018

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

SoPhie 提出了一种注意力生成对抗网络（GAN）框架，通过联合建模物理场景上下文与智能体之间的社会互动，实现对多个物理上和社交上合理未来轨迹的预测。通过将场景图像与智能体轨迹历史通过双注意力机制（物理注意力用于环境特征，社会注意力用于邻近智能体的动力学）进行融合，该方法在轨迹预测基准上取得了最先进性能，显著降低了预测误差与碰撞率。

ABSTRACT

This paper addresses the problem of path prediction for multiple interacting agents in a scene, which is a crucial step for many autonomous platforms such as self-driving cars and social robots. We present \ extit{SoPhie}; an interpretable framework based on Generative Adversarial Network (GAN), which leverages two sources of information, the path history of all the agents in a scene, and the scene context information, using images of the scene. To predict a future path for an agent, both physical and social information must be leveraged. Previous work has not been successful to jointly model physical and social interactions. Our approach blends a social attention mechanism with a physical attention that helps the model to learn where to look in a large scene and extract the most salient parts of the image relevant to the path. Whereas, the social attention component aggregates information across the different agent interactions and extracts the most important trajectory information from the surrounding neighbors. SoPhie also takes advantage of GAN to generates more realistic samples and to capture the uncertain nature of the future paths by modeling its distribution. All these mechanisms enable our approach to predict socially and physically plausible paths for the agents and to achieve state-of-the-art performance on several different trajectory forecasting benchmarks.

研究动机与目标

• 解决在复杂环境中预测多个相互作用智能体未来路径的挑战。
• 在轨迹预测中联合建模物理约束（例如障碍物、地形）与社会互动（例如个人空间、协作行为）。
• 生成多样、真实的轨迹分布，而非单一路径预测。
• 通过引入对场景上下文与智能体互动的注意力机制，提升可解释性与性能。
• 在包括 SDD、ETH 和 ZARA 在内的多个基准数据集上实现最先进结果。

提出的方法

• 模型使用视觉编码器处理自上而下的场景图像，提取与智能体运动相关的空间特征。
• 物理注意力机制突出显示场景图像中的显著区域（例如弯道、步行道），以指导路径预测。
• 社会注意力机制聚合周围智能体的动态轨迹信息，根据影响程度（例如前方智能体优先）进行加权。
• 将两种模态的注意力特征融合后输入基于LSTM的生成器网络，以建模序列运动动态。
• 采用生成对抗网络（GAN）框架，判别器评估生成轨迹的真实性，使模型能够学习合理未来路径的分布。
• 生成器生成多样、高质量的轨迹样本，而判别器确保轨迹在物理与社交层面的合理性。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能够联合建模物理环境约束与社会互动，从而提升轨迹预测性能？
• RQ2 物理与社会注意力机制在多大程度上增强了未来路径预测的可解释性与准确性？
• RQ3 与自回归模型或单路径模型相比，基于GAN的架构在生成多样、真实且合理的轨迹分布方面表现如何？
• RQ4 与仅依赖局部邻近智能体信息的模型相比，整合完整场景上下文与所有智能体互动是否能带来更好的性能？
• RQ5 即使样本极少，模型的生成组件是否可用于推断场景中的可通行区域？

主要发现

• SoPhie 在 SDD、ETH 和 ZARA 基准上均达到最先进性能，与 S-GAN 相比，平均位移误差（ADE）最高降低 18.5%。
• 在斯坦福无人机数据集（SDD）的复杂场景中，SoPhie 将平均误差从 3.631 像素（LSTM）降低至 1.464 像素，提升达 59.6%。
• 在 BIWI/ETH 的碰撞率评估中，SoPhie 将每帧平均碰撞行人比例从 29.29%（S-GAN）降低至 15.61%，表明其社会合规性显著提升。
• 物理注意力机制成功纠正了错误预测——例如确保智能体沿曲线路径移动，而非穿越障碍物。
• 基于判别器的轨迹验证使模型能够生成可解释的可通行区域图，仅用 30 个初始样本即可准确识别可行走区域。
• 定性分析表明，物理与社会注意力机制均能纠正先前模型（如 Social GAN）的缺陷，尤其在曲线路径与碰撞规避方面表现突出。