[论文解读] Tracking Human-like Natural Motion Using Deep Recurrent Neural Networks

Youngbin Park, Sungphill Moon+1 more|arXiv (Cornell University)|Apr 15, 2016

Human Pose and Action Recognition参考文献 21被引用 13

一句话总结

本文提出一种深度循环神经网络（pDRNN 和 vDRNN），通过优化关节约束和速度，以校正单 Kinect 骨骼追踪中不自然、抖动和不连续的运动。与 Kinect v2 相比，该方法显著降低了位置误差和加加速度误差，其中最佳融合方法（sKNN-pDRNN）实现了 0.026 的平均位置误差，优于原始 Kinect 及其他融合基线方法。

ABSTRACT

Kinect skeleton tracker is able to achieve considerable human body tracking performance in convenient and a low-cost manner. However, The tracker often captures unnatural human poses such as discontinuous and vibrated motions when self-occlusions occur. A majority of approaches tackle this problem by using multiple Kinect sensors in a workspace. Combination of the measurements from different sensors is then conducted in Kalman filter framework or optimization problem is formulated for sensor fusion. However, these methods usually require heuristics to measure reliability of measurements observed from each Kinect sensor. In this paper, we developed a method to improve Kinect skeleton using single Kinect sensor, in which supervised learning technique was employed to correct unnatural tracking motions. Specifically, deep recurrent neural networks were used for improving joint positions and velocities of Kinect skeleton, and three methods were proposed to integrate the refined positions and velocities for further enhancement. Moreover, we suggested a novel measure to evaluate naturalness of captured motions. We evaluated the proposed approach by comparison with the ground truth obtained using a commercial optical maker-based motion capture system.

研究动机与目标

• 解决单 Kinect 骨骼追踪在自我遮挡期间出现的不自然、抖动和不连续运动问题。
• 在不依赖多传感器的前提下，提升 Kinect v2 骨骼数据的时间连续性和自然度。
• 开发一种基于监督学习的方法，利用深度循环神经网络优化关节约束和速度。
• 提出一种新型运动自然度评估指标，以客观评估追踪质量。
• 采用多种融合策略整合优化后的关节约束和速度输出，以提升性能。

提出的方法

• 训练一个深度循环神经网络（pDRNN），从原始 Kinect v2 骨骼数据中回归校正后的关节约束。
• 训练一个独立的深度循环网络（vDRNN），以优化关节约束速度，提升时间平滑性。
• 提出三种融合方法——sKNN、kF 和 sKNNkF——通过最近邻搜索、卡尔曼滤波或混合融合，结合 pDRNN 和 vDRNN 的输出。
• 利用真实动作捕捉数据集中的监督学习，学习自然运动模式。
• 提出一种基于加加速度误差的新型自然度评估指标，用于量化运动平滑性与不连续性。
• 端到端训练模型，以最小化关节约束和速度误差，同时保持时间一致性。

实验结果

研究问题

• RQ1 深度循环神经网络能否有效校正单 Kinect 骨骼追踪中的不自然、抖动和不连续运动？
• RQ2 pDRNN 和 vDRNN 分别优化的关节约束和速度，如何单独及联合提升运动自然度？
• RQ3 哪种融合策略——sKNN、kF 或 sKNNkF——能最佳结合 pDRNN 和 vDRNN 输出，以最小化位置误差和加加速度误差？
• RQ4 与原始 Kinect v2 及基线融合方法相比，所提方法在多大程度上降低了位置误差和加加速度误差？
• RQ5 基于加加速度的新型自然度指标能否可靠量化运动平滑性的提升？

主要发现

• 所提方法中，sKNN-pDRNN 实现了最低的平均位置误差（APE）0.026，显著低于 Kinect v2 的基线值 0.058。
• pDRNN 组件有效减少了中到大程度的加加速度误差，但对微小振动影响有限，如加加速度误差直方图所示。
• kF-pDRNN 和 sKNN-pDRNN 的 APE 高于仅使用 pDRNN 的情况，表明若设计不当，后处理融合可能降低性能。
• sKNNkF 方法在加加速度误差直方图中表现最佳，在所有误差区间均优于其他变体。
• 定性结果表明，sKNN-pDRNN 方法生成的骨骼在视觉上比 Kinect v2 更接近真实值，尤其在旋转和交叉腿部等复杂动作中表现更优。
• 所提出的自然度评估指标成功量化了运动平滑性的提升，pDRNN 虽对轻微抖动影响有限，但有效减少了严重不连续性。