[论文解读] MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency

Mingyi Shi, Kfir Aberman+5 more|arXiv (Cornell University)|Jun 22, 2020

Human Pose and Action Recognition参考文献 41被引用 16

一句话总结

MotioNet 是一种深度学习框架，通过直接预测具有时间一致性的 3D 骨骼和关节旋转，从单目视频重建 3D 人体运动，从而无需后续的逆运动学处理。通过整合前向运动学与对抗性学习，即使在遮挡和深度模糊的情况下，也能实现鲁棒且自然的运动重建。

ABSTRACT

We introduce MotioNet, a deep neural network that directly reconstructs the motion of a 3D human skeleton from monocular video.While previous methods rely on either rigging or inverse kinematics (IK) to associate a consistent skeleton with temporally coherent joint rotations, our method is the first data-driven approach that directly outputs a kinematic skeleton, which is a complete, commonly used, motion representation. At the crux of our approach lies a deep neural network with embedded kinematic priors, which decomposes sequences of 2D joint positions into two separate attributes: a single, symmetric, skeleton, encoded by bone lengths, and a sequence of 3D joint rotations associated with global root positions and foot contact labels. These attributes are fed into an integrated forward kinematics (FK) layer that outputs 3D positions, which are compared to a ground truth. In addition, an adversarial loss is applied to the velocities of the recovered rotations, to ensure that they lie on the manifold of natural joint rotations. The key advantage of our approach is that it learns to infer natural joint rotations directly from the training data, rather than assuming an underlying model, or inferring them from joint positions using a data-agnostic IK solver. We show that enforcing a single consistent skeleton along with temporally coherent joint rotations constrains the solution space, leading to a more robust handling of self-occlusions and depth ambiguities.

研究动机与目标

• 解决仅恢复关节位置的 3D 姿态估计方法存在的局限性，这些方法缺乏骨骼一致性与绑定兼容性。
• 通过学习数据驱动的端到端运动表示，克服逆运动学（IK）求解器的模糊性与不稳定性。
• 通过强制使用单一、对称的骨骼结构并保持骨骼长度恒定，确保时间一致性和几何不变性。
• 通过学习先验知识和噪声增强训练，提升对自遮挡和深度模糊的鲁棒性。
• 生成完整、可直接用于动画的运动表示，包括全局根位置、关节旋转和足部接触标签。

提出的方法

• 网络将 2D 关节位置分解为两个属性：单一、对称的骨骼结构（由骨骼长度编码）以及包含全局根位置和足部接触标签的 3D 关节旋转序列。
• 集成的前向运动学（FK）层沿骨骼层级应用预测的旋转，以重建 3D 关节位置，并与真实值进行比较。
• 多任务损失同时监督骨骼长度、根位置、足部接触标签和 3D 关节位置，以确保几何与动力学一致性。
• 对预测的关节旋转速度施加对抗性损失，以促使它们遵循自然人体运动的流形。
• 引入足部接触损失，通过在接触阶段强制足部速度为零，以抑制足部滑动伪影。
• 通过在训练数据中加入随机噪声和置信度掩码，模拟真实视频质量，提升对遮挡和姿态估计误差的鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络能否直接从单目视频中学习重建一致的 3D 骨骼和时间一致的关节旋转，而无需依赖逆运动学？
• RQ2 强制使用单一、固定的骨骼结构在多大程度上提升了单目运动重建中对深度模糊和自遮挡的鲁棒性？
• RQ3 对关节旋转速度进行对抗性训练在多大程度上提升了重建人体运动的自然度与真实感？
• RQ4 能否通过提升足部接触预测的准确性来减少足部关节位置的恢复误差，即使没有对足部位置进行显式监督？
• RQ5 与传统的基于 IK 或仅姿态的重建方法相比，该网络端到端、数据驱动的方法在运动质量与绑定兼容性方面表现如何？

主要发现

• MotioNet 通过直接预测运动学一致的骨骼结构和关节旋转，在从单目视频重建 3D 人体运动方面达到了最先进性能。
• 网络预测足部接触标签的能力与足部位置误差的降低密切相关，表明接触预测可增强位置恢复的准确性。
• 对旋转速度施加对抗性损失后，生成的运动更加自然且时间上一致，因为预测的旋转更接近真实人体运动的流形。
• 通过使用带噪声的增强训练和置信度掩码，模型对遮挡和噪声 2D 关键点输入的鲁棒性得到提升，更贴近真实世界视频条件。
• 通过端到端学习固定骨骼结构和关节旋转，该方法避免了传统 IK 求解器的不稳定性和模糊性，从而生成更一致、更逼真的运动序列。
• 输出的运动表示与标准动画工作流程完全兼容，因其直接提供可绑定、可蒙皮的 3D 角色运动，无需额外处理。