[论文解读] Learning Dynamics from Kinematics: Estimating 2D Foot Pressure Maps from Video Frames

Christopher Funk, S. Nagendra+5 more|arXiv (Cornell University)|Nov 30, 2018

Human Pose and Action Recognition参考文献 61被引用 5

一句话总结

本文提出PressNET，一种端到端深度学习模型，能够从视频中提取的2D人体关节点姿态回归出2D足底压力热力图——进而推断出压力中心（CoP）位置。该模型在包含700,000多帧、持续5分钟以上的大型同步数据集（包含六名受试者完成24式太极拳动作）上进行训练，显著优于K近邻（K-Nearest Neighbors）方法在热力图预测与CoP估计方面的表现，其精度达到肌动学研究中个体间差异范围内的高水平。

ABSTRACT

Pose stability analysis is the key to understanding locomotion and control of body equilibrium, with applications in numerous fields such as kinesiology, medicine, and robotics. In biomechanics, Center of Pressure (CoP) is used in studies of human postural control and gait. We propose and validate a novel approach to learn CoP from pose of a human body to aid stability analysis. More specifically, we propose an end-to-end deep learning architecture to regress foot pressure heatmaps, and hence the CoP locations, from 2D human pose derived from video. We have collected a set of long (5min +) choreographed Taiji (Tai Chi) sequences of multiple subjects with synchronized foot pressure and video data. The derived human pose data and corresponding foot pressure maps are used jointly in training a convolutional neural network with residual architecture, named PressNET. Cross-subject validation results show promising performance of PressNET, significantly outperforming the baseline method of K-Nearest Neighbors. Furthermore, we demonstrate that our computation of center of pressure (CoP) from PressNET is not only significantly more accurate than those obtained from the baseline approach but also meets the expectations of corresponding lab-based measurements of stability studies in kinesiology.

研究动机与目标

• 探究是否可仅通过单视角视频，无需直接测量力或肌肉活动，推断人体动力学特征，特别是足底压力分布。
• 开发一种深度学习框架，将2D人体姿态运动学映射至足底压力动力学，用于稳定性分析。
• 在具有挑战性的长时序、多受试者同步视频与足底压力数据集上验证模型性能。
• 证明通过学习得到的压力图所预测的CoP位置在定量上准确，并与肌动学研究中实验室测量结果相当。

提出的方法

• 该模型采用残差卷积神经网络（PressNET），从使用OpenPose（Body25模型）从视频帧中提取的2D关节点坐标回归出2D足底压力热力图。
• 输入为表示25个关键点位置的2D姿态向量，输出为每只脚的像素级压力热力图，强度从0 kPa（蓝色）映射至观测到的最大压力（红色）。
• 网络在大规模同步视频与足底压力数据集上进行端到端训练，数据来自六名受试者完成24式太极拳动作的采集。
• 通过网络的归纳偏差实现时间一致性，学习在时间序列上预测平滑、稳定的压力图，优于逐帧处理的KNN方法。
• 通过跨受试者验证评估模型性能，使用预测热力图与真实热力图之间的平均绝对误差（MAE）以及CoP位置误差进行度量。
• 压力中心（CoP）通过预测压力热力图的质心计算得出。

实验结果

研究问题

• RQ1 仅使用视频输入，能否从2D人体姿态中准确回归出足底压力动力学？
• RQ2 与传统的K近邻基线方法相比，深度学习模型在从姿态预测足底压力图方面的表现如何？
• RQ3 所预测的CoP位置在多大程度上与肌动学和生物力学研究中使用的实际测量值相符？
• RQ4 尽管存在身体形态与表现风格的差异，模型是否能在不同受试者间实现良好泛化？
• RQ5 对于步态与平衡分析所需的时序分析，足底压力图的预测是否具有稳定性和一致性？

主要发现

• PressNET在预测足底压力热力图方面显著优于K近邻基线方法，所有测试帧的平均绝对误差（MAE）均明显更低。
• PressNET预测的CoP位置平均欧氏误差小于10 mm，处于肌动学研究中姿势稳定性分析的可接受范围内。
• PressNET的CoP预测误差分布紧密聚集在(0,0)附近，表明其精度高、方差小；相比之下，KNN预测表现出显著波动。
• PressNET的预测在时间序列上平滑且一致，而KNN因逐帧选择最近邻导致预测极不稳定。
• 即使在身体形态与表现风格存在差异的情况下，模型仍展现出良好的跨受试者泛化能力，证明其对个体间差异具有鲁棒性。
• 预测的压力热力图在视觉和定量上均与真实值高度一致，感知差异与度量偏差均极小。