[论文解读] Live Stream Temporally Embedded 3D Human Body Pose and Shape Estimation

Zhouping Wang, Sarah Ostadabbas|arXiv (Cornell University)|Jul 25, 2022

Human Pose and Action Recognition被引用 5

一句话总结

TePose 提出了一种用于实时流媒体视频的时序嵌入式 3D 人体姿态与形状估计框架，利用过去预测结果作为反馈以提升时序一致性和准确性。通过整合多尺度时空图卷积网络进行对抗性训练，并采用顺序数据加载策略，TePose 在提升稳定性的同时减少了对长输入序列的依赖，实现了最先进性能。

ABSTRACT

3D Human body pose and shape estimation within a temporal sequence can be quite critical for understanding human behavior. Despite the significant progress in human pose estimation in the recent years, which are often based on single images or videos, human motion estimation on live stream videos is still a rarely-touched area considering its special requirements for real-time output and temporal consistency. To address this problem, we present a temporally embedded 3D human body pose and shape estimation (TePose) method to improve the accuracy and temporal consistency of pose estimation in live stream videos. TePose uses previous predictions as a bridge to feedback the error for better estimation in the current frame and to learn the correspondence between data frames and predictions in the history. A multi-scale spatio-temporal graph convolutional network is presented as the motion discriminator for adversarial training using datasets without any 3D labeling. We propose a sequential data loading strategy to meet the special start-to-end data processing requirement of live stream. We demonstrate the importance of each proposed module with extensive experiments. The results show the effectiveness of TePose on widely-used human pose benchmarks with state-of-the-art performance.

研究动机与目标

• 解决实时流媒体视频中 3D 人体姿态与形状估计缺乏时序一致性的挑战。
• 通过利用过去预测结果作为时序反馈桥梁，提升估计精度。
• 通过基于图卷积网络的运动判别器，实现在无 3D 真实标签监督下的有效训练。
• 设计一种顺序数据加载策略，训练过程中逐步从真实标签过渡到预测的网格参数。
• 通过利用先前帧的嵌入时序信息，减少对长输入序列的依赖。

提出的方法

• TePose 使用时序嵌入编码器，将当前视频帧与先前帧预测的 SMPL 参数共同作为输入，用于当前帧的估计。
• 一个多尺度时空图卷积网络（GCN）作为运动判别器，用于区分真实人体运动序列与生成序列，实现在无 3D 标注情况下的对抗性训练。
• 采用顺序数据加载策略，在训练过程中混合使用真实网格参数与预测参数，通过从理想条件开始促进模型收敛。
• 模型采用基于双向 GRU 的时序编码器，以捕捉静态特征与过去预测序列中的长程依赖关系。
• 应用 SMPL 损失来监督预测的网格参数，同时利用 GCN 的对抗性损失提升运动序列的真实性。
• 该框架在 MPI-INF-3DHP、Human3.6M 和 InstaVariety 等数据集上进行训练，使用 Mosh 生成的伪 SMPL 标签进行监督。

实验结果

研究问题

• RQ1 过去姿态与形状预测是否能提升实时流媒体视频中 3D 人体姿态估计的时序一致性和准确性？
• RQ2 基于图卷积网络的运动判别器在无 3D 监督下，对实现对抗性训练的有效性如何？
• RQ3 在时序嵌入框架中，结合真实与预测输入的顺序数据加载策略是否能稳定训练过程？
• RQ4 与以往基于视频的模型相比，该方法在多大程度上减少了对长输入序列的依赖？
• RQ5 与仅使用当前和未来帧的方法相比，整合来自先前预测的时序反馈有何优势？

主要发现

• 在 Human3.6M 测试集上，TePose 实现了 41.2 mm 的 PA-MPJPE，优于以往最先进方法，在精度与时序一致性方面均表现更优。
• 消融实验证实，所提出的各模块——时序嵌入编码器、顺序数据加载策略与对抗性训练——均对性能提升有显著贡献。
• 与基于帧的基线方法相比，模型将加速度误差降低了 2.8%，表明其具备更强的时序稳定性。
• 仅使用 6 个输入帧，TePose 的性能即优于需要 16 个或更多帧的方法，表明其具备更低延迟与计算成本。
• 在 3DPW 和 MPI-INF-3DHP 上的定性比较显示，TePose 的姿态估计结果比 VIBE 和 TCMR 更为稳定与准确。
• 即使在野外数据无 3D 真实标签的情况下，基于 GCN 的对抗性训练仍能显著提升运动序列的真实性。