[论文解读] A Neural Network Approach to Missing Marker Reconstruction.

Taras Kucherenko, Hedvig Kjellström|arXiv (Cornell University)|Mar 7, 2018

Human Pose and Action Recognition参考文献 22被引用 10

一句话总结

本文提出一种神经网络方法，通过利用人体运动中的时间与空间相关性，重建光学动作捕捉数据中缺失的标记点位置。在CMU Mocap数据集上，基于LSTM和窗口的模型实现了比最先进方法高20%至400%的重建精度提升。

ABSTRACT

Optical motion capture systems have become a widely used technology in various fields, such as augmented reality, robotics, movie production, etc. Such systems use a large number of cameras to triangulate the position of optical markers. These are then used to reconstruct the motion of rigid objects or human articulated bodies, to which the markers are attached. The marker positions are estimated with high accuracy. However, especially when tracking articulated bodies, a fraction of the markers in each timestep is missing from the reconstruction. In this paper, we propose to use a neural network approach to learn how human motion is temporally and spatially correlated, and reconstruct missing markers positions through this model. We experiment with two different models, one LSTM-based and one window-based. Experiments on the CMU Mocap dataset show that we outperform the state of the art by 20\% - 400\%.

研究动机与目标

• 为解决光学动作捕捉系统中人体运动追踪期间的缺失标记点数据问题。
• 学习人体运动中的时间与空间相关性，以提升缺失标记点位置的重建效果。
• 开发并评估可在多种运动序列上泛化的神经网络模型。
• 在标记点重建精度方面超越现有最先进方法。

提出的方法

• 使用循环神经网络（LSTM）对时间步长之间标记点轨迹的时间依赖性进行建模。
• 基于窗口的神经网络处理运动数据的局部时间窗口，以预测缺失的标记点。
• 在CMU Mocap数据集上端到端训练模型，以从观测到的标记点位置中学习运动模式。
• 输入特征包括每个时间步长下可见标记点的3D位置，训练过程中对缺失标记点进行掩码处理。
• 网络基于上下文运动模式输出缺失标记点的重建3D位置。
• 两种模型均使用标准动作捕捉重建指标（如每标记点的平均误差）进行评估。

实验结果

研究问题

• RQ1 神经网络能否有效学习人体运动中的时间与空间相关性，以实现缺失标记点的重建？
• RQ2 基于LSTM与基于窗口的模型在重建缺失标记点位置方面表现如何比较？
• RQ3 所提出方法在基准数据集上相较于现有最先进方法的性能提升程度如何？
• RQ4 该模型在CMU Mocap数据集中多样化运动序列上的泛化能力如何？

主要发现

• 所提方法在CMU Mocap数据集上相比最先进方法，重建精度提升了20%至400%。
• 基于LSTM的模型在捕捉运动序列中的长程时间依赖性方面表现优异。
• 基于窗口的模型在处理局部运动模式方面表现出色，结果具有竞争力。
• 两种模型在多种运动类型（包括行走、跑步及复杂上肢动作）中均表现出良好的泛化能力。
• 结果表明，学习运动相关性可显著提升重建质量。
• 即使在高比例缺失标记点的情况下，该方法仍能有效降低重建误差。