[论文解读] 3D Human Pose Estimation using Spatio-Temporal Networks with Explicit Occlusion Training

Yu Cheng, Bo Yang+2 more|arXiv (Cornell University)|Apr 7, 2020

Human Pose and Action Recognition参考文献 39被引用 14

一句话总结

本文提出了一种用于从单目视频中进行鲁棒3D人体姿态估计的时空深度学习框架，整合了多尺度空间与时间特征、用于姿态有效性的时空判别器，以及通过关键点遮蔽实现的显式遮挡增强。该方法在多个基准测试中达到最先进性能，在Human 3.6M数据集上将MPJPE降低2.8mm（相对减少6.5%），在3DPW和MPI-INF-3DHP数据集上无需微调也优于先前工作。

ABSTRACT

Estimating 3D poses from a monocular video is still a challenging task, despite the significant progress that has been made in recent years. Generally, the performance of existing methods drops when the target person is too small/large, or the motion is too fast/slow relative to the scale and speed of the training data. Moreover, to our knowledge, many of these methods are not designed or trained under severe occlusion explicitly, making their performance on handling occlusion compromised. Addressing these problems, we introduce a spatio-temporal network for robust 3D human pose estimation. As humans in videos may appear in different scales and have various motion speeds, we apply multi-scale spatial features for 2D joints or keypoints prediction in each individual frame, and multi-stride temporal convolutional net-works (TCNs) to estimate 3D joints or keypoints. Furthermore, we design a spatio-temporal discriminator based on body structures as well as limb motions to assess whether the predicted pose forms a valid pose and a valid movement. During training, we explicitly mask out some keypoints to simulate various occlusion cases, from minor to severe occlusion, so that our network can learn better and becomes robust to various degrees of occlusion. As there are limited 3D ground-truth data, we further utilize 2D video data to inject a semi-supervised learning capability to our network. Experiments on public datasets validate the effectiveness of our method, and our ablation studies show the strengths of our networkś individual submodules.

研究动机与目标

• 解决在运动速度和物体尺度变化的视频中进行3D人体姿态估计的挑战。
• 提升对遮挡（尤其是严重或部分遮挡）的鲁棒性，而许多现有方法未能显式处理此类情况。
• 通过引入评估空间姿态结构与时间运动动态的时空判别器，提升姿态的一致性与解剖学合理性。
• 通过利用2D视频数据提升性能，实现半监督学习，尤其在3D真实值数据有限时。
• 设计一种可泛化的框架，在包括3DPW等多人户外场景在内的多样化数据集上表现良好，且无需微调。

提出的方法

• 使用HRNet结合多尺度空间特征生成高分辨率热图以进行2D关键点检测，并将其编码到潜在空间以保留空间细节。
• 在潜在特征上应用多步长时间卷积网络（TCNs），以捕捉不同运动速度下的长程时间依赖关系。
• 基于运动链空间（KCS）引入时空判别器，结合空间KCS用于姿态结构与时间KCS用于运动一致性，以验证预测的3D姿态序列。
• 通过在训练期间遮蔽2D热图实现显式遮挡增强，以模拟从轻微到严重的遮挡，提升鲁棒性。
• 通过联合训练3D与2D数据集实现半监督学习，利用2D数据在3D标注稀缺时增强泛化能力。
• 采用双分支架构：一个用于2D关键点估计，另一个用于3D姿态回归，判别器提供对抗性正则化。

实验结果

研究问题

• RQ1 多尺度空间与时间特征是否能提升在单目视频中运动速度与物体尺度变化下的3D姿态估计鲁棒性？
• RQ2 同时评估姿态结构与运动动态的时空判别器是否能生成比逐帧判别器更符合解剖学原理的3D姿态序列？
• RQ3 在训练期间显式进行遮挡数据增强在多大程度上能提升对真实世界遮挡场景的泛化能力？
• RQ4 所提出的框架是否能在无需微调的情况下在3D姿态估计基准上实现优异性能，特别是在3DPW和MPI-INF-3DHP等挑战性数据集上？
• RQ5 当3D真实值有限时，使用2D视频数据的半监督学习设置在多大程度上有效？

主要发现

• 在Human 3.6M数据集的Protocol #1下，该方法将MPJPE降低了2.8mm（相对减少6.5%），展现出显著的性能提升。
• P-MPJPE降低了2.1mm（相对减少6.4%），在拍照与就坐等频繁发生遮挡的动作中观察到更大的改进。
• 在3DPW数据集上，该方法在未进行任何微调的情况下实现了71.8的P-MPJPE，优于先前方法报告的157.0与80.1。
• 在MPI-INF-3DHP上，即使仅在Human 3.6M上训练且未在3DHP数据上再训练，模型仍使3D PCK提升了1.6%，表明其具有强大的泛化能力。
• 在人体动力学预测任务中，尽管仅使用视频输入且推理时无3D关键点真实值，该方法仍实现了与最先进方法相当的性能。
• 消融实验表明，多尺度时间特征与时空KCS判别器均对性能有显著贡献，尤其在处理遮挡与快速运动方面。