[论文解读] Forecasting Social Navigation in Crowded Complex Scenes

Alexandre Robicquet, Alexandre Alahi+5 more|arXiv (Cornell University)|Jan 5, 2016

Evacuation and Crowd Dynamics参考文献 39被引用 29

一句话总结

本文提出了首个大规模、俯视视角的多类别智能体（行人、自行车、滑板车、车辆）在大学校园等拥挤户外环境中导航的基准数据集，并提出了一种新颖的轨迹预测模型，该模型引入了跨类别交互作用并学习‘社交敏感度’——一种捕捉智能体对社交力响应程度的潜在变量。该方法通过建模复杂真实场景中多样的导航风格与交互动态，显著优于基线模型。

ABSTRACT

When humans navigate a crowed space such as a university campus or the sidewalks of a busy street, they follow common sense rules based on social etiquette. In this paper, we argue that in order to enable the design of new algorithms that can take fully advantage of these rules to better solve tasks such as target tracking or trajectory forecasting, we need to have access to better data in the first place. To that end, we contribute the very first large scale dataset (to the best of our knowledge) that collects images and videos of various types of targets (not just pedestrians, but also bikers, skateboarders, cars, buses, golf carts) that navigate in a real-world outdoor environment such as a university campus. We present an extensive evaluation where different methods for trajectory forecasting are evaluated and compared. Moreover, we present a new algorithm for trajectory prediction that exploits the complexity of our new dataset and allows to: i) incorporate inter-class interactions into trajectory prediction models (e.g, pedestrian vs bike) as opposed to just intra-class interactions (e.g., pedestrian vs pedestrian); ii) model the degree to which the social forces are regulating an interaction. We call the latter "social sensitivity"and it captures the sensitivity to which a target is responding to a certain interaction. An extensive experimental evaluation demonstrates the effectiveness of our novel approach.

研究动机与目标

• 为解决缺乏大规模、真实世界数据集来捕捉复杂拥挤户外环境中多样化智能体类型（行人、自行车、车辆等）的问题。
• 通过建模跨类别交互作用（如行人与自行车之间）而非仅限于同类别交互，实现更鲁棒和泛化能力强的轨迹预测。
• 通过学习数据驱动的‘社交敏感度’变量，捕捉智能体对社交力的响应程度，从而提升轨迹预测性能。
• 为多目标跟踪、行为理解以及真实动态场景中的轨迹预测提供可扩展的基准。

提出的方法

• 从100个真实校园场景的四旋翼无人机视频中收集了新的大规模俯视视频数据集，涵盖20,000个跨多个类别的标注目标。
• 提出多类别社交力（SF-mc）框架，用于建模不同智能体类型之间的交互作用（如行人-自行车、汽车-滑板）。
• 引入‘社交敏感度’作为可学习的潜在变量，量化智能体对其他智能体社交力的响应强度。
• 采用基于聚类的方法，根据学习到的社交敏感度和交互模式，将智能体划分为不同的导航风格（如激进型、保守型）。
• 使用可微分损失函数，联合优化轨迹预测与社交敏感度估计。
• 在所提出的多类别数据集和标准行人专用基准上评估模型，以验证其泛化能力。

实验结果

研究问题

• RQ1 轨迹预测模型是否能在真实世界拥挤场景中有效泛化至多个智能体类别（如行人、自行车、车辆）？
• RQ2 与仅建模同类别交互的模型相比，建模跨类别交互（如行人-自行车）是否能提升预测准确率？
• RQ3 可学习的‘社交敏感度’变量是否能捕捉多样的导航行为（如激进型与谨慎型），并提升预测性能？
• RQ4 所提出方法是否在大规模真实世界数据集上优于现有的社交力模型与高斯过程模型？

主要发现

• 所提出的SF-mc模型结合可学习社交敏感度，在新提出的多类别数据集上达到最先进性能，显著优于假设智能体类别同质性的基线模型。
• 该模型能成功识别并适应不同的导航风格（如激进或保守行为），基于学习到的社交敏感度，在复杂交互中提升预测准确率。
• 在无交互场景中，所有方法表现相近，证实本方法的优势仅在拥挤互动环境中显现。
• 该方法在单类别基准（如仅行人）上也表现出良好泛化能力，通过轨迹对比验证，能为每个智能体正确选择合适的导航风格（激进或温和）。
• 可视化结果表明，当发生交互时，不同社交敏感度聚类下的预测轨迹出现显著差异，证明模型具备捕捉细微行为动态的能力。
• 该数据集为功能映射推断、微小目标跟踪以及从无人机数据中进行场景特定运动建模等新研究方向提供了支持。