[论文解读] Long-term Human Motion Prediction with Scene Context

Zhe Cao, Hang Gao+4 more|arXiv (Cornell University)|Jul 7, 2020

Human Pose and Action Recognition参考文献 68被引用 8

一句话总结

本文提出了一种用于长期3D人体运动预测的三阶段深度学习框架，通过首先采样多个未来的运动目标，然后规划通往这些目标的3D路径，最后生成3D姿态序列，来利用场景上下文。该方法通过结合场景感知、目标导向的推理与一种新型大规模合成数据集（包含干净的3D标注）在合成数据集和真实数据集上均实现了最先进性能。

ABSTRACT

Human movement is goal-directed and influenced by the spatial layout of the objects in the scene. To plan future human motion, it is crucial to perceive the environment -- imagine how hard it is to navigate a new room with lights off. Existing works on predicting human motion do not pay attention to the scene context and thus struggle in long-term prediction. In this work, we propose a novel three-stage framework that exploits scene context to tackle this task. Given a single scene image and 2D pose histories, our method first samples multiple human motion goals, then plans 3D human paths towards each goal, and finally predicts 3D human pose sequences following each path. For stable training and rigorous evaluation, we contribute a diverse synthetic dataset with clean annotations. In both synthetic and real datasets, our method shows consistent quantitative and qualitative improvements over existing methods.

研究动机与目标

• 解决现有运动预测方法忽略场景上下文、因此在长期、全局运动预测中表现不佳的局限性。
• 将人体运动建模为受空间布局影响的目标导向行为，以实现更逼真、更多样化的长期预测。
• 开发一种基于学习的框架，隐式地从人体-场景交互数据中捕捉场景约束，而无需显式重建3D场景。
• 贡献一个大规模、多样化的合成数据集，包含高质量3D标注，以稳定训练并提升在真实世界数据上的泛化能力。

提出的方法

• 该框架首先使用目标预测网络在图像空间中采样多个合理的2D目的地点，代表潜在的运动目标。
• 然后利用3D路径规划网络，基于场景几何信息，从当前位置生成通往每个预测目标的3D轨迹。
• 姿态生成网络沿每条3D路径预测3D人体姿态序列，确保时间上的一致性与物理上的合理性。
• 模型使用包含超过一百万帧高清RGB-D图像、来自GTA游戏引擎的干净3D标注的合成数据集进行端到端训练。
• 目标的随机采样实现了多模态预测，提升了长期运动序列的多样性与逼真度。
• 在合成数据集上进行预训练显著提升了在真实世界基准上的性能，展示了数据效率与鲁棒性。

实验结果

研究问题

• RQ1 场景上下文是否能显著提升长期3D人体运动预测性能，超越仅依赖短期、局部运动建模的方法？
• RQ2 仅使用2D输入，如何以场景感知的方式生成多模态的未来运动预测？
• RQ3 数据驱动的隐式学习方法在多大程度上可以替代显式3D路径规划与场景几何约束？
• RQ4 大规模合成数据集若带有干净的3D标注，是否能提升真实世界运动预测的泛化能力与训练稳定性？
• RQ5 与确定性方法相比，随机目标采样在多大程度上提升了长期运动预测的多样性与逼真度？

主要发现

• 所提方法在合成数据集和真实数据集上均持续优于现有方法，3D姿态与位置指标的预测误差更低。
• 使用5个样本的随机预测优于确定性基线，在3秒预测步长时性能差距超过100 mm。
• 定性结果表明，运动序列多样且逼真，包括转向、U型转弯、爬楼梯以及起坐转换等，均受场景布局影响。
• 模型生成的3D路径能有效避免主要碰撞，即使未进行显式3D场景重建，表明隐式学习场景约束有效。
• 失败案例显示存在轻微的足部与场景交叠（如脚穿过床铺），提示可通过多视角输入或显式几何约束进一步改进。
• 在合成数据集上进行预训练显著提升了在真实数据上的零样本性能，证明了合成数据在数据稀缺场景中的价值。