[论文解读] Learning Dynamics from Kinematics: Estimating Foot Pressure from Video

Christopher Funk, S. Nagendra+4 more|arXiv (Cornell University)|Nov 30, 2018

Diabetic Foot Ulcer Assessment and Management参考文献 46被引用 1

一句话总结

本文提出 PressNET，一种端到端深度学习模型，能够从视频中提取的2D人体姿态序列估计足底压力热力图和重心（CoP）。该模型在5分钟以上的同步太极视频与压力数据上进行训练，显著优于K-最近邻基线模型，其CoP估计结果与实验室稳定性测量结果高度一致。

ABSTRACT

Pose stability analysis is the key to understanding locomotion and control of body equilibrium, with applications in numerous fields such as kinesiology, medicine, and robotics. In biomechanics, Center of Pressure (CoP) is used in studies of human postural control and gait. We propose and validate a novel approach to learn CoP from pose of a human body to aid stability analysis. More specifically, we propose an end-to-end deep learning architecture to regress foot pressure heatmaps, and hence the CoP locations, from 2D human pose derived from video. We have collected a set of long (5min +) choreographed Taiji (Tai Chi) sequences of multiple subjects with synchronized foot pressure and video data. The derived human pose data and corresponding foot pressure maps are used jointly in training a convolutional neural network with residual architecture, named PressNET. Cross-subject validation results show promising performance of PressNET, significantly outperforming the baseline method of K-Nearest Neighbors. Furthermore, we demonstrate that our computation of center of pressure (CoP) from PressNET is not only significantly more accurate than those obtained from the baseline approach but also meets the expectations of corresponding lab-based measurements of stability studies in kinesiology.

研究动机与目标

• 开发一种从基于视频的2D人体姿态估计足底压力与重心（CoP）的方法，以支持步态与姿势稳定性分析。
• 解决在仅使用视频与姿态数据的情况下，缺乏准确、非侵入性方法来估计动态运动（如太极）中CoP的问题。
• 构建一个能够在不同个体间泛化、并能从姿态序列准确回归压力热力图的深度学习模型。
• 在肌动学与生物力学领域，通过与既有的实验室测量方法对比，验证模型性能。
• 在康复、机器人学与步态研究等应用中，实现可扩展、低成本的稳定性分析。

提出的方法

• 收集了多个受试者进行太极运动的5分钟以上同步视频与足底压力记录的自定义数据集。
• 使用姿态估计技术从视频中提取2D人体姿态，并将其作为模型的输入。
• 设计了PressNET——一种残差卷积神经网络，直接从2D姿态序列回归2D足底压力热力图。
• 通过联合姿态与压力数据端到端训练模型，学习从身体姿态配置到压力分布的映射关系。
• 进行跨受试者验证，以评估模型在不同个体间的泛化能力与鲁棒性。
• 将模型性能与K-最近邻基线模型进行比较，并与实验室稳定性指标进行验证。

实验结果

研究问题

• RQ1 深度学习模型能否在动态运动中，从2D人体姿态序列准确估计足底压力热力图？
• RQ2 所提出的PressNET模型在估计CoP方面与K-最近邻基线模型相比表现如何？
• RQ3 PressNET预测的CoP值在多大程度上与肌动学领域既有的实验室测量结果一致？
• RQ4 该模型能否仅使用视频与姿态数据，在不同受试者间实现良好泛化？
• RQ5 所学习的CoP估计是否保留了人体步态中姿势稳定性的预期动态特性？

主要发现

• PressNET在估计足底压力热力图与CoP位置方面显著优于K-最近邻基线模型。
• PressNET预测的CoP与肌动学稳定性研究中使用的实验室测量结果高度一致。
• 跨受试者验证证实了模型在不同个体间具备良好的泛化能力。
• 该模型在长时间太极序列中准确估计了动态压力分布。
• 结果表明，仅使用基于视频的姿态数据即可推断出可靠的动态压力特征，而无需专用传感器。
• PressNET实现了仅依赖标准视频与姿态估计的高精度、非侵入性稳定性分析。