[论文解读] Deep Kinematic Pose Regression

Xingyi Zhou, Xiao Sun+3 more|arXiv (Cornell University)|Sep 17, 2016

Human Pose and Action Recognition参考文献 33被引用 4

一句话总结

本文提出一种可微分运动学层，嵌入深度神经网络中以在刚性姿态估计中施加几何约束。通过将人体运动学建模为旋转角度的可微函数，该方法在端到端训练过程中确保结构合理性，在 Human3.6M 3D 人体姿态估计基准上实现最先进性能，平均误差为 58.91 mm。

ABSTRACT

Learning articulated object pose is inherently difficult because the pose is high dimensional but has many structural constraints. Most existing work do not model such constraints and does not guarantee the geometric validity of their pose estimation, therefore requiring a post-processing to recover the correct geometry if desired, which is cumbersome and sub-optimal. In this work, we propose to directly embed a kinematic object model into the deep neutral network learning for general articulated object pose estimation. The kinematic function is defined on the appropriately parameterized object motion variables. It is differentiable and can be used in the gradient descent based optimization in network training. The prior knowledge on the object geometric model is fully exploited and the structure is guaranteed to be valid. We show convincing experiment results on a toy example and the 3D human pose estimation problem. For the latter we achieve state-of-the-art result on Human3.6M dataset.

研究动机与目标

• 解决在高维、结构化刚性物体姿态估计中保持几何一致性的挑战。
• 消除先前深度学习方法中用于恢复几何合理性的后处理步骤的需要。
• 将运动学模型的先验知识（例如骨长、关节连接）直接整合到深度神经网络中。
• 证明该方法在深度图像手部姿态估计之外，可推广至基于 RGB 的 3D 人体姿态估计。
• 通过引入几何约束的端到端训练，在 Human3.6M 数据集上实现最先进性能。

提出的方法

• 引入一种可微分运动学层，利用正向运动学将学习到的运动参数（旋转角度）映射为 3D 关节位置。
• 使用标准骨骼参数（骨长和关节旋转角度）定义运动学函数，确保几何合理性。
• 将运动学层作为可学习组件嵌入深度残差网络（ResNet-50）中，实现通过运动学计算的反向传播。
• 使用预测与真实 3D 关节位置之间的关节回归损失，实现网络的端到端训练。
• 应用保持边界的缩放和边界框归一化，以在训练过程中保持长宽比和尺度一致性。
• 采用批量归一化、权重衰减和基于动量的优化，并配合学习率调度，以实现稳定训练。

实验结果

研究问题

• RQ1 可微分运动学模型能否有效集成到深度神经网络中，用于刚性姿态估计？
• RQ2 与后处理方法相比，直接在网络架构中嵌入几何约束是否能提升姿态估计精度？
• RQ3 该方法能否从基于深度图像的手部姿态估计泛化到基于 RGB 的 3D 人体姿态估计？
• RQ4 与直接回归关节点坐标或运动参数相比，使用运动学层的端到端训练是否更具有效性？
• RQ5 该方法是否在具有挑战性的 Human3.6M 数据集上实现了最先进性能？

主要发现

• 所提出的运动学姿态回归方法在 Human3.6M 数据集上实现 58.91 mm 的平均误差，优于表 1 中列出的所有先前方法。
• 定性结果（表 2）显示，该方法显著减少了如翻转肢体和错误骨长等结构伪影。
• 在直接关节点回归后进行运动学拟合的后处理反而降低了性能，表明初始几何合理性至关重要。
• 直接回归运动参数未能收敛，可能由于 3D 旋转角度的歧义性和高维性所致。
• 使用统一头部在全部 15 种动作上进行训练的模型，性能优于针对特定动作的基线模型，证明了其泛化能力。
• 训练曲线显示，直接关节点回归的训练损失下降，但测试损失趋于平稳，表明存在过拟合或分布偏移问题。