[论文解读] Human Motion Prediction via Spatio-Temporal Inpainting

Alejandro Hernandez Ruiz, Jüergen Gall+1 more|arXiv (Cornell University)|Dec 13, 2018

Human Pose and Action Recognition参考文献 35被引用 16

一句话总结

本文提出了一种基于时空生成对抗网络（GAN）的框架，用于长期3D人体运动预测，通过将任务建模为时空补全问题，同时建模身体姿态与绝对位置。该方法引入基于频率的度量以克服L2损失的局限性，在Human3.6M数据集上实现了最先进性能，对遮挡和缺失帧具有鲁棒性，并能生成无需动作标签的2秒真实感运动序列。

ABSTRACT

We propose a Generative Adversarial Network (GAN) to forecast 3D human motion given a sequence of past 3D skeleton poses. While recent GANs have shown promising results, they can only forecast plausible motion over relatively short periods of time (few hundred milliseconds) and typically ignore the absolute position of the skeleton w.r.t. the camera. Our scheme provides long term predictions (two seconds or more) for both the body pose and its absolute position. Our approach builds upon three main contributions. First, we represent the data using a spatio-temporal tensor of 3D skeleton coordinates which allows formulating the prediction problem as an inpainting one, for which GANs work particularly well. Secondly, we design an architecture to learn the joint distribution of body poses and global motion, capable to hypothesize large chunks of the input 3D tensor with missing data. And finally, we argue that the L2 metric, considered so far by most approaches, fails to capture the actual distribution of long-term human motion. We propose two alternative metrics, based on the distribution of frequencies, that are able to capture more realistic motion patterns. Extensive experiments demonstrate our approach to significantly improve the state of the art, while also handling situations in which past observations are corrupted by occlusions, noise and missing frames.

研究动机与目标

• 解决现有方法在2秒以上长期3D人体运动预测中难以同时建模绝对空间位置的问题。
• 克服L2损失在捕捉长期序列中真实运动模式方面的不足。
• 实现在训练或推理阶段无需动作标签的运动预测。
• 提升模型对过去观测中遮挡、噪声和缺失帧的鲁棒性。
• 开发一种能更好捕捉人体运动分布特征的评估度量。

提出的方法

• 将3D骨骼序列表示为时空张量，将运动预测问题建模为时空补全问题。
• 设计一个全卷积生成器，具备时间一致性，用于预测未来姿态与绝对位置。
• 采用三个独立判别器，以强制生成符合人体结构特征的运动与真实的频谱分布。
• 仅在重建的过去帧上使用L2损失，而未来预测完全依赖对抗训练进行指导。
• 引入两种基于频率的度量，通过比较生成序列与真实序列的频谱分布来评估运动真实感。
• 端到端训练模型，结合对抗损失与基于频率的度量，避免对未来的帧监督依赖L2损失。

实验结果

研究问题

• RQ1 基于GAN的方法能否生成包含空间绝对位置的、超过2秒的逼真长期3D人体运动序列？
• RQ2 用基于频率的度量替代L2损失，是否能提升长期预测中运动模式的真实感？
• RQ3 模型能否在无显式动作标签监督的情况下泛化到未见动作？
• RQ4 模型对过去序列中遮挡、缺失帧和噪声输入数据的鲁棒性如何？
• RQ5 所提出的基于频率的度量在评估中是否能比L2损失更好地捕捉运动真实感？

主要发现

• STMI-GAN模型在Human3.6M数据集上实现了最先进性能，显著优于先前方法在长期运动预测中的表现。
• 人工评估显示，38.39%的生成绝对运动序列被人类评分者判定为真实，表明其具有高度真实感。
• 在关节遮挡情况下，模型L2误差为108.99；在缺失帧情况下，L2误差为102.03，优于NoGAN和线性插值等基线方法。
• 模型对80%的遮挡具有鲁棒性，即使在结构化或随机的关节与帧丢失情况下，仍能生成合理运动。
• 基于频率的度量成功捕捉了运动语义，减少了L2训练模型中常见的静态均值姿态倾向。
• 消融实验证实，三个独立判别器对生成符合人体结构且时间一致的运动至关重要。