[论文解读] Movement science needs different pose tracking algorithms

Nidhi Seethapathi, Shaofei Wang+3 more|arXiv (Cornell University)|Jul 24, 2019

Human Pose and Action Recognition参考文献 88被引用 66

一句话总结

本文认为当前的姿态跟踪方法未能优先考虑与运动科学相关的量，并概述了如何重设计算法，以更好地估计 movement science 所需的 3D 运动学、力以及其他与运动有关的变量。

ABSTRACT

Over the last decade, computer science has made progress towards extracting body pose from single camera photographs or videos. This promises to enable movement science to detect disease, quantify movement performance, and take the science out of the lab into the real world. However, current pose tracking algorithms fall short of the needs of movement science; the types of movement data that matter are poorly estimated. For instance, the metrics currently used for evaluating pose tracking algorithms use noisy hand-labeled ground truth data and do not prioritize precision of relevant variables like three-dimensional position, velocity, acceleration, and forces which are crucial for movement science. Here, we introduce the scientific disciplines that use movement data, the types of data they need, and discuss the changes needed to make pose tracking truly transformative for movement science.

研究动机与目标

• 解释运动科学学科如何依赖运动数据，以及为何当前的姿态跟踪存在不足。
• 确定运动科学从姿态跟踪中需要的具体量（3D 位置、速度、加速度、力、绝对尺度）。
• 提出具体的算法和基准测试变更，以优先输出与运动相关的量。
• 强调能够更好地支持运动科学目标的数据和真值（ground-truth）相关考虑。

提出的方法

• 调查多样的运动科学领域及其数据需求。
• 批判性分析当前的姿态跟踪基准和真值实践，原因是其缺乏与运动相关的度量。
• 提出基于骨架层级、时序结构和相机运动的算法先验，以改善 3D 运动学。
• 建议将速度、加速度和力估计纳入目标函数和基准测试。
• 建议数据增强和合成场景以处理接触和遮挡。
• 就实现绝对尺度/质量估计和固定坐标系参考以进行运动分析提出建议。

实验结果

研究问题

• RQ1 姿态跟踪算法应优先考虑哪些与运动相关的量（如 3D 运动学、力）用于运动科学？
• RQ2 姿态跟踪如何整合时序动态和骨架约束以提高随时间的精度？
• RQ3 为了避免偏差并支持多样化的运动任务，需要哪些真值数据、基准和跨人群的考虑？
• RQ4 姿态跟踪如何提供绝对尺度、质量和力，以便在运动科学中进行机械分析？
• RQ5 在野外数据转化为可用于运动科学的过程中，需要哪些对接触、遮挡和相机运动的适应？

主要发现

• 当前的姿态跟踪强调二维姿态和逐帧的准确性，忽略对运动科学至关重要的速度、加速度和力。
• 真值基准常依赖手工标注的关键点和人为构造的姿态，未能反映科学所需的运动量。
• 时序信息和动力结构未被充分利用，导致帧间误差传播到速度/加速度估计中。
• 外部力、绝对质量、尺度和惯性未被现有方法充分估计，阻碍生物力学分析。
• 考虑到相机运动并在固定参考系中给出结果对有意义的运动科学应用至关重要。
• 缺乏人口统计和任务多样性的训练数据会在不同人群和活动中引入姿态估计偏差。