[论文解读] AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing

Jiaxi Jiang, Paul Streli+5 more|arXiv (Cornell University)|Jul 27, 2022

Human Pose and Action Recognition被引用 7

一句话总结

AvatarPoser 是一种基于 Transformer 的新方法，仅通过头部和手部控制器的运动数据即可在世界坐标系中估计全身 3D 人体姿态，无需额外传感器或骨盆追踪。它在 AMASS 数据集上实现了最先进水平的精度，并通过将全局运动与局部关节特征解耦，结合逆向运动学优化，实现了实时、逼真的角色动画。

ABSTRACT

Today's Mixed Reality head-mounted displays track the user's head pose in world space as well as the user's hands for interaction in both Augmented Reality and Virtual Reality scenarios. While this is adequate to support user input, it unfortunately limits users' virtual representations to just their upper bodies. Current systems thus resort to floating avatars, whose limitation is particularly evident in collaborative settings. To estimate full-body poses from the sparse input sources, prior work has incorporated additional trackers and sensors at the pelvis or lower body, which increases setup complexity and limits practical application in mobile settings. In this paper, we present AvatarPoser, the first learning-based method that predicts full-body poses in world coordinates using only motion input from the user's head and hands. Our method builds on a Transformer encoder to extract deep features from the input signals and decouples global motion from the learned local joint orientations to guide pose estimation. To obtain accurate full-body motions that resemble motion capture animations, we refine the arm joints' positions using an optimization routine with inverse kinematics to match the original tracking input. In our evaluation, AvatarPoser achieved new state-of-the-art results in evaluations on large motion capture datasets (AMASS). At the same time, our method's inference speed supports real-time operation, providing a practical interface to support holistic avatar control and representation for Metaverse applications.

研究动机与目标

• 解决当前混合现实系统中缺乏全身表示的问题，从而限制沉浸感和身体认同感。
• 克服仅从头部和手部运动输入估计完整人体姿态的挑战，这是一个高度欠定的问题。
• 消除对额外传感器（如骨盆追踪器或惯性测量单元）的依赖，以实现在移动设备和消费级 MR 环境中的实际部署。
• 通过结合深度学习与基于模型的优化，提升动画角色的逼真度并减少伪影。
• 仅使用标准 HMD 和控制器输入，实现对元宇宙中协作与远程存在应用的全局角色控制。

提出的方法

• 使用 Transformer 编码器从稀疏运动输入（头部和手部/控制器姿态）中提取深层上下文特征。
• 将全局运动（平移与朝向）与学习到的局部关节旋转解耦，以提高鲁棒性与泛化能力。
• 通过可学习的头到骨盆运动学链预测全身关节位置，从而从头部输入推断全局身体位置。
• 在预测后应用逆向运动学（IK）优化步骤，以精炼手部与肢体位置，减少运动学链中的误差累积。
• 引入 Stabilizer 模块，直接从输入特征学习全局朝向，提升相对于仅依赖头部朝向估计的稳定性。
• 在训练期间使用前向运动学（FK）模块，对骨骼变换后的关节位置进行监督，确保物理上合理的姿态配置。

实验结果

研究问题

• RQ1 是否可以仅使用头部和手部运动数据，在无骨盆或身体穿戴传感器的情况下准确实现全身 3D 人体姿态估计？
• RQ2 学习方法如何有效解耦全局运动与局部关节特征，以提升姿态估计的鲁棒性？
• RQ3 将神经网络预测与逆向运动学相结合，能在多大程度上提升全身角色动画的逼真度与准确性？
• RQ4 在大规模动作捕捉数据上，该方法在姿态精度与推理速度方面与最先进方法相比表现如何？
• RQ5 该方法能否在多种运动类别上实现泛化，并在实时、实际的 MR 环境中保持高性能？

主要发现

• AvatarPoser 在 AMASS 基准测试中达到最先进性能，全身体素姿态估计精度优于先前方法。
• 通过 Stabilizer 模块学习的全局朝向显著降低 MPJPE（逐关节位置误差均值），相比仅依赖头部朝向估计，提升了稳定性。
• 移除 Stabilizer 模块后 MPJPE 显著上升，证实其在抑制头部旋转噪声与提升全局姿态一致性方面的重要性。
• 网络中直接回归骨盆位置的性能劣于通过运动学链计算的结果，验证了使用前向运动学进行全局平移估计的有效性。
• IK 优化步骤使手部位置误差相比网络直接输出降低近 41%，证明其在纠正误差累积方面的有效性。
• AvatarPoser 在 NVIDIA 3090 GPU 上实现平均帧处理时间低于 10ms 的实时推理，适用于实际 VR/AR 部署。