[论文解读] Capturing the motion of every joint: 3D human pose and shape estimation with independent tokens

Sen Yang, Wen Heng+4 more|arXiv (Cornell University)|Mar 1, 2023

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出了一种基于Transformer的新方法，用于从单目图像或视频中进行3D人体姿态与形状估计，采用独立的token分别表示关节旋转、身体形状和相机参数。通过从图像特征中独立学习这些token，并应用针对每个关节的时序Transformer，模型捕捉了局部旋转运动的一致性，实现了SOTA性能，在3DPW数据集上达到42.0 mm的PA-MPJPE。

ABSTRACT

In this paper we present a novel method to estimate 3D human pose and shape from monocular videos. This task requires directly recovering pixel-alignment 3D human pose and body shape from monocular images or videos, which is challenging due to its inherent ambiguity. To improve precision, existing methods highly rely on the initialized mean pose and shape as prior estimates and parameter regression with an iterative error feedback manner. In addition, video-based approaches model the overall change over the image-level features to temporally enhance the single-frame feature, but fail to capture the rotational motion at the joint level, and cannot guarantee local temporal consistency. To address these issues, we propose a novel Transformer-based model with a design of independent tokens. First, we introduce three types of tokens independent of the image feature: extit{joint rotation tokens, shape token, and camera token}. By progressively interacting with image features through Transformer layers, these tokens learn to encode the prior knowledge of human 3D joint rotations, body shape, and position information from large-scale data, and are updated to estimate SMPL parameters conditioned on a given image. Second, benefiting from the proposed token-based representation, we further use a temporal model to focus on capturing the rotational temporal information of each joint, which is empirically conducive to preventing large jitters in local parts. Despite being conceptually simple, the proposed method attains superior performances on the 3DPW and Human3.6M datasets. Using ResNet-50 and Transformer architectures, it obtains 42.0 mm error on the PA-MPJPE metric of the challenging 3DPW, outperforming state-of-the-art counterparts by a large margin. Code will be publicly available at https://github.com/yangsenius/INT_HMR_Model

研究动机与目标

• 解决从单张图像或视频中进行单目3D人体姿态与形状估计的病态性问题。
• 克服现有方法依赖均值姿态/形状先验进行迭代回归的局限性，这些方法难以捕捉关节级别的时序运动一致性。
• 在个体关节层面建模旋转运动，而非在图像特征层面，从而提升局部运动平滑性并减少抖动。
• 通过在大规模数据上进行自监督预训练，学习解耦的、与图像无关的3D关节旋转、身体形状和相机参数表示。

提出的方法

• 引入三种可学习的独立token：关节旋转token、形状token和相机token，初始化时与图像或视角无关。
• 使用Transformer编码器，通过关注2D图像特征逐步优化这些token，实现SMPL参数的端到端估计。
• 为每个关节的旋转token分别应用独立的时序Transformer，以建模跨视频帧的关节特异性旋转动态。
• 在时序模块中利用自注意力机制，学习帧间相关性，从而利用过去和未来的运动模式对当前帧估计进行正则化。
• 采用标准的3D关键点和网格监督进行端到端训练，无需显式的运动学约束或迭代优化。
• 在所有关节间共享时序编码器，以保持效率的同时实现关节特异性的时序建模。

实验结果

研究问题

• RQ1 解耦的、与图像无关的token是否能有效学习3D人体关节旋转和身体形状的先验知识，而无需依赖均值姿态初始化？
• RQ2 与图像级别建模相比，在关节级别建模时序动态是否能提升局部运动一致性并减少视频序列中的姿态抖动？
• RQ3 基于token的表示方式，若对每个关节单独进行时序建模，是否能优于基于图像级别的时序编码器，更有效地捕捉旋转运动模式？
• RQ4 在无显式SMPL监督的情况下，这些独立的token在多大程度上学习到了真实且结构化的姿态与形状先验？

主要发现

• 该模型在具有挑战性的3DPW基准上实现了42.0 mm的PA-MPJPE，显著优于当前SOTA方法。
• 关节特异性时序建模成功捕捉了周期性运动模式（如行走步态），表现为时序上相似关节状态之间的高注意力相关性。
• 先验关节旋转与形状token在无显式SMPL约束下学习到了合理且非随机的配置，表明自监督先验学习有效。
• 通过显式在关节级别建模旋转运动，模型显著减少了局部姿态抖动，视频序列的定性结果已验证此效果。
• 与并行的空间-时序建模方法相比，该方法在PA-MPJPE上提升了1 mm，证明了关节级别时序建模的优势。
• 该方法在Human3.6M上表现相当，同时在视频数据上显著提升了鲁棒性与时序一致性。