[论文解读] High-Accuracy Real-Time Whole-Body Human Motion Tracking Based on Constrained Nonlinear Kalman Filtering

Jannik Steinbring, Christian Mandery+3 more|arXiv (Cornell University)|Nov 13, 2015

Human Pose and Action Recognition参考文献 16被引用 3

一句话总结

本文提出了一种基于约束非线性卡尔曼滤波的实时、高精度全身人体运动追踪系统。通过将关节极限转换为无约束的周期函数，并应用智能采样卡尔曼滤波器（S²KF），该方法即使在部分标记遮挡的情况下也能实现鲁棒追踪，优于基于梯度的方法，在标准硬件上运行时间低于8ms，且平均可处理多达16个缺失标记。

ABSTRACT

We present a new online approach to track human whole-body motion from motion capture data, i.e., positions of labeled markers attached to the human body. Tracking in noisy data can be effectively performed with the aid of well-established recursive state estimation techniques. This allows us to systematically take noise of the marker measurements into account. However, as joint limits imposed by the human body have to be satisfied during estimation, first we transform this constrained estimation problem into an unconstrained one by using periodic functions. Then, we apply the Smart Sampling Kalman Filter to solve this unconstrained estimation problem. The proposed recursive state estimation approach makes the human motion tracking very robust to partial occlusion of markers and avoids any special treatment or reconstruction of the missed markers. A concrete implementation built on the kinematic human reference model of the Master Motor Map framework and a Vicon motion capture system is evaluated. Different captured motions show that our implementation can accurately estimate whole-body human motion in real-time and outperforms existing gradient-based approaches. In addition, we demonstrate its ability to smoothly handle incomplete marker data.

研究动机与目标

• 实现从噪声大、带标签的标记数据中实时、高精度地追踪全身人体运动。
• 解决在递归状态估计中强制执行人体关节极限的挑战。
• 开发一种在标记部分遮挡或缺失时仍保持鲁棒性和准确性的方法。
• 消除运动追踪中对特殊初始化（如T型姿势）或标记重建的需求。
• 在Vicon系统和Master Motor Map框架下，通过复杂动作（如倒立）演示实时性能和高精度。

提出的方法

• 使用周期函数表示关节角度，将由人体关节极限施加的约束估计问题转化为无约束问题。
• 应用智能采样卡尔曼滤波器（S²KF）从噪声标记测量中递归估计完整人体姿态。
• 利用Master Motor Map（MMM）框架中的运动学参考模型来定义人体结构和运动学。
• 将标记位置和运动学约束的先验知识融入状态估计过程，以提高精度。
• 利用卡尔曼滤波的递归特性，在部分标记缺失时仍能保持状态估计，无需进行标记重建。
• 在Vicon动作捕捉系统上评估该方法，实现实时处理，运行于标准CPU上，确保延迟低于8ms。

实验结果

研究问题

• RQ1 能否有效利用约束非线性卡尔曼滤波实现实时全身人体运动追踪，同时尊重解剖学关节极限？
• RQ2 当标记部分遮挡或缺失时，所提方法在精度和鲁棒性方面表现如何？
• RQ3 使用周期函数表示关节角度是否能在卡尔曼滤波框架内实现准确且无约束的估计？
• RQ4 与现有基于梯度的优化方法相比，所提出的基于S²KF的方法在精度和计算效率方面表现如何？
• RQ5 在标记数据不完整的情况下，例如多达50%的标记被隐藏时，该方法在多大程度上能保持高追踪精度？

主要发现

• 所提方法在Intel Core i7-3770 CPU上实现低于8ms的估计运行时间，支持100Hz的实时全身运动追踪。
• 所有评估动作中，测量位置与估计位置之间的平均标记距离低于5cm，标记遮挡模拟期间最大距离为9cm。
• 即使每帧平均缺失16个标记（50个标记中的32%），方法仍保持高精度，标记距离仅略有增加。
• 该方法优于现有基于梯度的方法，尤其在倒立等复杂动作中表现更优，后者平均标记距离超过60cm。
• 该方法无需标记重建或特殊初始化即可成功处理部分遮挡，保持平滑且准确的姿态估计。
• 图6的视觉结果表明，即使在某些帧中超过25个标记被隐藏，估计姿态仍与真实值高度相似。