[论文解读] Knowledge Transfer for Scene-specific Motion Prediction

Lamberto Ballan, Francesco Castaldo+3 more|arXiv (Cornell University)|Mar 22, 2016

Human Pose and Action Recognition参考文献 39被引用 9

一句话总结

本文提出了一种基于动态贝叶斯网络和学习到的导航图的知识迁移框架，用于场景特定的运动预测。通过从语义相似的训练场景中迁移功能属性（如路径偏好、流行度和转向点），该模型在极少微调的情况下，显著提升了轨迹预测的准确性，尤其在未见过的场景中对行人预测表现突出。

ABSTRACT

When given a single frame of the video, humans can not only interpret the content of the scene, but also they are able to forecast the near future. This ability is mostly driven by their rich prior knowledge about the visual world, both in terms of (i) the dynamics of moving agents, as well as (ii) the semantic of the scene. In this work we exploit the interplay between these two key elements to predict scene-specific motion patterns. First, we extract patch descriptors encoding the probability of moving to the adjacent patches, and the probability of being in that particular patch or changing behavior. Then, we introduce a Dynamic Bayesian Network which exploits this scene specific knowledge for trajectory prediction. Experimental results demonstrate that our method is able to accurately predict trajectories and transfer predictions to a novel scene characterized by similar elements.

研究动机与目标

• 解决在训练数据有限的新环境中，实现准确且场景感知的人体运动预测的挑战。
• 利用智能体动力学和场景语义的先验知识，提升轨迹预测性能，超越仅依赖静态场景标签的模型。
• 实现从已见场景到语义相似但未见过的新场景之间，功能性导航模式（如路径选择、转向点）的可靠迁移。
• 通过编码局部与全局场景上下文，建模丰富且非线性的导航行为，而非依赖简单的线性运动模型。
• 通过统一框架在多样化场景和智能体类别（如行人、骑行人）上实现泛化能力。

提出的方法

• 提取用于编码智能体移动概率（至相邻区域）、行为变化可能性以及路径流行度的区域级描述符。
• 基于同一智能体类别（如行人与骑行人）的观测轨迹统计信息，为每个场景构建导航图。
• 构建一个动态贝叶斯网络（DBN），利用导航图更新目标状态并预测未来轨迹。
• 通过语义区域匹配，将K个最相似的训练场景中的功能属性（流行度、路径选择、HoD、HoF）迁移至新的测试场景。
• 利用学习到的语义上下文描述符和图像检索技术，实现测试场景与训练场景之间的区域匹配，从而实现知识迁移。
• 通过加权融合局部与全局上下文特征（w=0.5）以及使用K=50个最近邻进行检索，优化迁移性能。

实验结果

研究问题

• RQ1 是否能够有效将已见场景中的功能性场景属性（如首选路径和转向点）迁移至预测新颖、未见场景中的运动？
• RQ2 与仅使用静态场景标签的模型相比，引入场景语义和智能体特定动力学是否能显著提升轨迹预测的准确性？
• RQ3 当目标场景的训练数据有限时，从语义相似场景中进行知识迁移在多大程度上提升了预测性能？
• RQ4 不同智能体类别（如行人与骑行人）在所提出的功能性属性迁移中受益程度如何？模型是否在多样化行为间具备泛化能力？
• RQ5 关键参数（如最近邻数K、特征加权系数w）对知识迁移的鲁棒性与准确性有何影响？

主要发现

• 在斯坦福-UAV数据集上，知识迁移后，所提方法的平均豪德罗夫距离（MHD）误差为14.29 ± 0.84，显著优于LP基线（31.29 ± 1.25）和IOC [16]（18.42 ± 0.97）。
• 对于行人，模型将MHD误差降低至12.36，展现出在非线性导航模式下强大的性能，而基线模型在此类场景中表现困难。
• 采用50个最近邻（K=50）和平衡特征权重（w=0.5）时，性能达到最优，且在使用解析的场景分割而非真实掩码时，性能下降极小。
• 模型对输入变化具有鲁棒性，不同参数设置下性能保持稳定，真实分割掩码仅带来微小性能提升。
• 该框架通过从语义相似的训练场景迁移如路径点和流行度评分等功能性属性，实现在新场景中的准确路径预测。
• 定性结果表明，知识迁移后生成的场景具有连贯性，轨迹预测性能得到改善，路径与流行度热力图能有效捕捉预期的智能体行为。