[论文解读] Forecasting Interactive Dynamics of Pedestrians with Fictitious Play

Wei-Chiu Ma, De-An Huang+2 more|arXiv (Cornell University)|Apr 5, 2016

Video Surveillance and Tracking Methods被引用 10

一句话总结

该论文提出了一种基于博弈论、结合深度学习的模型，通过虚构博弈（Fictitious Play）建模交互式决策，并利用视觉线索实现行为个性化，从而从单张图像中预测多行人轨迹。该模型通过整合基于外观的个体化速度和方向估计，显著提升了长期轨迹预测和碰撞规避能力，相比最先进方法，预测准确率提高了25%。

ABSTRACT

We develop predictive models of pedestrian dynamics by encoding the coupled nature of multi-pedestrian interaction using game theory, and deep learning-based visual analysis to estimate person-specific behavior parameters. Building predictive models for multi-pedestrian interactions however, is very challenging due to two reasons: (1) the dynamics of interaction are complex interdependent processes, where the predicted behavior of one pedestrian can affect the actions taken by others and (2) dynamics are variable depending on an individuals physical characteristics (e.g., an older person may walk slowly while the younger person may walk faster). To address these challenges, we (1) utilize concepts from game theory to model the interdependent decision making process of multiple pedestrians and (2) use visual classifiers to learn a mapping from pedestrian appearance to behavior parameters. We evaluate our proposed model on several public multiple pedestrian interaction video datasets. Results show that our strategic planning model explains human interactions 25% better when compared to state-of-the-art methods.

研究动机与目标

• 开发一种用于多行人交互的预测模型，以考虑相互依赖的决策行为和个体行为的差异性。
• 解决在行人行为相互依赖且异质性高的动态环境中进行长期轨迹预测的挑战。
• 通过博弈论建模战略规划，并利用行人外观的视觉分析实现行为个性化，从而提升预测准确率。
• 在目的地未知的情况下实现稳健预测，通过场景上下文和运动模式推断目标。

提出的方法

• 该模型使用布朗的虚构博弈（Brown’s Fictitious Play）模拟行人间的迭代最优响应规划，其中每个代理预测其他人的动作并据此调整自身路径。
• 采用深度学习分类器基于图像块中的视觉外观（如年龄、性别）估计行人特定的行为参数（如速度和初始方向）。
• 将视觉特征（占用情况、狗的朝向、身体朝向、社会一致性）整合到最优控制的代价函数中，用于轨迹规划。
• 利用从视频数据中提取的子群体统计信息（如按年龄组划分的平均行走速度）构建个体化运动模型。
• 模型在时间上进行迭代规划，根据观察到的运动模式不断更新对他人策略的信念，模拟类人战略推理。
• 该方法在已知目的地和无目的地两种设置下均进行了评估，证明了其对不确定性的鲁棒性。

实验结果

研究问题

• RQ1 如何建模多个行人之间相互依赖的决策动态，以捕捉战略性的预期与规避行为？
• RQ2 视觉外观线索（如年龄、性别）在多大程度上可用于推断个体化的行为参数（如行走速度和初始方向）？
• RQ3 基于博弈论的框架（如虚构博弈）能否提升多智能体行人场景下的长期轨迹预测准确率？
• RQ4 视觉和社会一致性特征的引入如何影响预测性能和碰撞规避能力？
• RQ5 当最终目的地未知时，模型是否仍能保持良好性能，从而需要从上下文中推断目标？

主要发现

• 基于虚构博弈的模型在预测行人交互方面相比最先进方法提升了25%，以轨迹准确率和碰撞规避能力衡量。
• FP+Speed 变体的归一化对数似然（NLL）为 10.892，相比次优方法（mTA 为 14.247）提升了 23.5%。
• 整合社会一致性与身体朝向等视觉特征后，NLL 从 14.48 降低至 10.89，证明了上下文与行为线索的重要价值。
• 即使在无已知目的地的情况下，模型仍保持良好性能（NLL: 12.58），表明其对目标不确定性的鲁棒性。
• 在 Town Centre 数据集上，模型实现了 4.3% 的碰撞成功率达到（SCR），优于所有基线方法，表明预测轨迹的安全性和真实性得到提升。
• 将基于外观的速度估计整合进模型显著提升了预测准确率，证实了个性化在多智能体预测中的重要性。