[论文解读] HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation

Jiefeng Li, Chao Xu+4 more|arXiv (Cornell University)|Nov 30, 2020

Human Pose and Action Recognition参考文献 70被引用 16

一句话总结

HybrIK 提出了一种可微分的混合解析-神经逆运动学方法，通过将相对旋转分解为扭曲（twist）和摆动（swing）分量，将精确的 3D 关节预测转换为逼真且像素对齐的 3D 人体网格：摆动分量通过解析方式求解，扭曲分量则通过神经网络学习。该方法在无需额外优化或附加功能的情况下，在 3DPW 基准上实现了最先进性能，MPJPE 和 PVE 分别优于先前方法 13.2 mm 和 21.9 mm。

ABSTRACT

Model-based 3D pose and shape estimation methods reconstruct a full 3D mesh for the human body by estimating several parameters. However, learning the abstract parameters is a highly non-linear process and suffers from image-model misalignment, leading to mediocre model performance. In contrast, 3D keypoint estimation methods combine deep CNN network with the volumetric representation to achieve pixel-level localization accuracy but may predict unrealistic body structure. In this paper, we address the above issues by bridging the gap between body mesh estimation and 3D keypoint estimation. We propose a novel hybrid inverse kinematics solution (HybrIK). HybrIK directly transforms accurate 3D joints to relative body-part rotations for 3D body mesh reconstruction, via the twist-and-swing decomposition. The swing rotation is analytically solved with 3D joints, and the twist rotation is derived from the visual cues through the neural network. We show that HybrIK preserves both the accuracy of 3D pose and the realistic body structure of the parametric human model, leading to a pixel-aligned 3D body mesh and a more accurate 3D pose than the pure 3D keypoint estimation methods. Without bells and whistles, the proposed method surpasses the state-of-the-art methods by a large margin on various 3D human pose and shape benchmarks. As an illustrative example, HybrIK outperforms all the previous methods by 13.2 mm MPJPE and 21.9 mm PVE on 3DPW dataset. Our code is available at https://github.com/Jeff-sjtu/HybrIK.

研究动机与目标

• 通过弥合 3D 关节估计与参数化人体建模之间的差距，解决 3D 人体网格估计中的对齐问题与结构真实性问题。
• 克服基于模型的方法中非线性、抽象的参数空间，该问题阻碍了深度网络在 3D 姿态与形状估计中的学习。
• 通过参数化人体模型施加解剖学合理性，提升基于 3D 关节的方法的逼真度。
• 通过消除逆运动学中的迭代优化步骤，实现 3D 关节与网格预测的端到端可微训练。
• 通过稳健且可微的 IK 解决方案，实现 3D 骨骼与参数化网格之间的闭环，同时保持关节约准确性和网格逼真度。

提出的方法

• 通过运动学树分解，将相对关节旋转分解为扭曲（纵向）与摆动（平面内）分量。
• 利用几何约束，从 3D 关节位置解析计算摆动旋转，确保精度与一致性。
• 通过视觉线索，利用神经网络学习扭曲旋转，实现对复杂姿态的数据驱动适应。
• 沿运动学树递归组合扭曲与摆动旋转，从 3D 关节重建全身网格。
• 确保整个流程的完全可微性，以支持 3D 关节与网格头的端到端训练。
• 集成参数化 SMPL 模型，以强制实现逼真的身体比例并防止解剖学不一致。

实验结果

研究问题

• RQ1 混合解析-神经逆运动学方法是否能同时提升单目 3D 人体姿态估计中 3D 关节的准确性与网格的逼真度？
• RQ2 扭曲-摆动分解在何种程度上能够实现从 3D 关节预测出发的准确、可微且鲁棒的网格重建？
• RQ3 学习得到的扭曲分量在多大程度上能够校正 3D 关节估计中的误差，同时保持解剖学合理性？
• RQ4 所提方法是否能在无需迭代优化或后处理的情况下，实现 3D 骨骼与参数化网格之间的闭环？
• RQ5 该混合方法在网格保真度与关节约准确性方面，是否优于纯关节点估计与基于模型的优化方法？

主要发现

• HybrIK 在 3DPW 基准上达到最先进性能，PVE 相较于先前最先进方法降低 21.9 mm，证明了其卓越的网格重建保真度。
• 在 3DPW 数据集上，HybrIK 相较于先前 SOTA 方法将 MPJPE 降低了 13.2 mm，证实了 3D 关节准确性的提升。
• HybrIK 的自适应版本对噪声输入关节数具有更强鲁棒性，相比朴素版本能更有效减少运动学树中误差的累积。
• 通过施加 SMPL 模型的统计先验，HybrIK 能够纠正不合理的姿态（如左右不对称、异常肢体比例）。
• 当应用于预测关节数时，该方法将关节约误差从 114.3 mm（SMPLify 后）降低至 79.2 mm，证明了其强大的误差校正能力。
• 在无需额外优化或附加功能的情况下，HybrIK 在 Human3.6M 上以 6.6 mm 的 PA-MPJPE 超越最先进方法，在 MPI-INF-3DHP 上 AUC 提升 10.8，证实了其广泛的有效性。