[论文解读] Contact-aware Human Motion Forecasting

Wei Mao, Miaomiao Liu+2 more|arXiv (Cornell University)|Oct 8, 2022

Human Pose and Action Recognition被引用 7

一句话总结

本文提出了一种接触感知的两阶段3D人体运动预测框架，通过基于关节距离的接触图显式建模人体-场景交互。通过预测未来接触图并将姿态预测条件化于其上，该方法在合成数据集和真实数据集上均显著提升了运动精度与真实感，消除了诸如'幽灵运动'等伪影，且在3D路径和姿态预测方面优于当前最先进方法。

ABSTRACT

In this paper, we tackle the task of scene-aware 3D human motion forecasting, which consists of predicting future human poses given a 3D scene and a past human motion. A key challenge of this task is to ensure consistency between the human and the scene, accounting for human-scene interactions. Previous attempts to do so model such interactions only implicitly, and thus tend to produce artifacts such as "ghost motion" because of the lack of explicit constraints between the local poses and the global motion. Here, by contrast, we propose to explicitly model the human-scene contacts. To this end, we introduce distance-based contact maps that capture the contact relationships between every joint and every 3D scene point at each time instant. We then develop a two-stage pipeline that first predicts the future contact maps from the past ones and the scene point cloud, and then forecasts the future human poses by conditioning them on the predicted contact maps. During training, we explicitly encourage consistency between the global motion and the local poses via a prior defined using the contact maps and future poses. Our approach outperforms the state-of-the-art human motion forecasting and human synthesis methods on both synthetic and real datasets. Our code is available at https://github.com/wei-mao-2019/ContAwareMotionPred.

研究动机与目标

• 为解决场景感知3D人体运动预测中全局运动与局部姿态之间缺乏显式约束的问题。
• 消除由人体-场景交互隐式建模导致的'幽灵运动'等伪影。
• 通过显式建模接触关系，提升人体运动与场景上下文之间的一致性。
• 开发一种两阶段流程，首先预测未来接触图，然后基于接触图条件化预测运动。
• 在复杂3D环境中实现更准确且更自然的人体运动预测。

提出的方法

• 引入基于关节的接触图，编码每个时间步每个人体关节到3D场景点的距离。
• 采用基于DCT的时序编码策略来建模历史接触图，与先前人体运动研究方法类似。
• 使用3D场景编码网络（PVCNN）从场景点云、过去运动和历史接触图中预测未来接触图。
• 在运动预测阶段，保留每个关节最近的接触点，并基于这些点条件化全局位移与局部姿态预测。
• 通过在训练过程中利用预测姿态与接触点的联合分布，学习一个先验分布，以强制全局运动与局部姿态之间的一致性。
• 通过接触图一致性与运动真实感的显式监督进行模型训练，以减少伪影。

实验结果

研究问题

• RQ1 显式建模人体-场景接触关系是否能提升3D人体运动预测的真实感与精度？
• RQ2 预测未来接触图在多大程度上增强了局部姿态变化与全局运动之间的一致性？
• RQ3 与隐式建模方法相比，接触感知的运动预测在多大程度上减少了'幽灵运动'等伪影？
• RQ4 两阶段流程（先预测接触图，再进行接触条件化姿态预测）相较于端到端基线方法在性能上提升了多少？
• RQ5 使用真实值接触图与预测接触图对运动预测精度的影响如何？

主要发现

• 所提方法在合成数据集（GTA-IM）和真实世界数据集（PROX）上，均在3D路径与姿态精度方面优于当前最先进运动预测与生成方法。
• 在GTA-IM数据集上，与使用真实值接触图相比，该方法将平均路径误差减少了最多104mm，证明了预测接触图的有效性。
• 消融实验表明，若移除接触图，平均路径误差最多增加10mm，平均姿态误差最多增加7mm，证实了接触图的关键作用。
• 定性结果表明，该模型能准确预测多样化运动（如行走与就坐）的接触图，包括肘部触碰墙壁等复杂交互。
• 基线方法如DMGNN与SLT会产生不自然的运动（如幽灵运动或穿行于家具中），而所提方法可有效避免这些伪影。
• 使用真实值接触图可进一步提升性能，尤其在路径精度方面，表明接触图预测质量是未来改进的关键瓶颈。