[论文解读] From Kinematics To Dynamics: Estimating Center of Pressure and Base of Support from Video Frames of Human Motion

Jesse Scott, Christopher Funk+4 more|arXiv (Cornell University)|Jan 2, 2020

Diabetic Foot Ulcer Assessment and Management参考文献 52被引用 7

一句话总结

本文提出 PressNet 和 PressNet-Simple 两种深度学习模型，能够从单帧视频中的人体2D关节点姿态（运动学）估计足底压力热力图（动力学）。基于来自太极表演的 813,050 对同步视频与压力数据的新颖数据集，模型在预测重心（CoP）和支撑基底（BoS）方面达到最先进精度，首次实现了仅通过视觉输入从运动学推断人体动力学的端到端回归。

ABSTRACT

To gain an understanding of the relation between a given human pose image and the corresponding physical foot pressure of the human subject, we propose and validate two end-to-end deep learning architectures, PressNet and PressNet-Simple, to regress foot pressure heatmaps (dynamics) from 2D human pose (kinematics) derived from a video frame. A unique video and foot pressure data set of 813,050 synchronized pairs, composed of 5-minute long choreographed Taiji movement sequences of 6 subjects, is collected and used for leaving-one-subject-out cross validation. Our initial experimental results demonstrate reliable and repeatable foot pressure prediction from a single image, setting the first baseline for such a complex cross modality mapping problem in computer vision. Furthermore, we compute and quantitatively validate the Center of Pressure (CoP) and Base of Support (BoS) from predicted foot pressure distribution, obtaining key components in pose stability analysis from images with potential applications in kinesiology, medicine, sports and robotics.

研究动机与目标

• 通过基于视觉的深度学习，建立从2D人体运动学直接映射到足底压力动力学的方法。
• 构建大规模、同步的视频与足底压力数据集，用于复杂人体运动序列。
• 通过单帧视频估计重心（CoP）与支撑基底（BoS），实现对姿势稳定性的定量分析。
• 验证仅通过被动、低成本视觉传感器（无需测力台或鞋垫传感器）推断人体动力学的可行性。
• 为计算机视觉领域未来研究提供基线，推动研究从姿态估计扩展到可量化的身体动力学。

提出的方法

• PressNet 和 PressNet-Simple 是基于深度卷积残差网络的模型，通过 OpenPose（Body25 模型）提取的2D关节点坐标回归足底压力热力图。
• 输入为包含置信度分数的25个关节点2D姿态表示；输出为以千帕（kPa）为单位的足底压力强度2D热力图。
• 模型在包含6名受试者、每人完成5分钟太极动作的813,050对同步视频与足底压力数据的大规模数据集上进行训练。
• 通过基于阈值的分割与几何分析，从预测的压力热力图中计算重心（CoP）与支撑基底（BoS）。
• 性能评估采用平均绝对误差（MAE）、中位数绝对偏差（MAD）、交并比（IoU）与欧氏距离误差，并在关节点遮挡条件下测试鲁棒性。
• 采用3 kPa的阈值进行基于压力的分割，与鞋垫传感器的物理限制一致，并分析了该阈值对CoP与BoS精度的影响。

实验结果

研究问题

• RQ1 能否使用深度学习从单帧视频中的人体2D关节点姿态准确回归足底压力动力学？
• RQ2 在关节点缺失或遮挡的情况下，足底压力及推导出的稳定性指标（CoP 与 BoS）的预测性能有多强鲁棒性？
• RQ3 从预测热力图中准确估计CoP与BoS的最优压力阈值是什么？
• RQ4 预测的压力图能否实现与既有的生物力学测量标准相当的重心（CoP）误差？
• RQ5 仅通过被动、单视角视频，无需专用传感器，是否可行实现人体动力学的估计？

主要发现

• PressNet-Simple 的 CoP 欧氏误差为 12.8 mm，处于肌动学研究中重心（CoM）估计的可接受范围（16.2 mm）内。
• PressNet 的 CoP 欧氏误差为 10.9 mm，表明其在从视频中估计动态稳定性方面具有高精度。
• 与 K-最近邻基线相比，模型在足底压力图估计方面显著更优，且差异具有统计学显著性。
• 随着关节点遮挡程度增加，压力预测的最大误差持续上升，当约一半关节点缺失时趋于稳定。
• 使用 IoU 指标评估 BoS 估计时，最优阈值位于 8 至 15 kPa 之间，而 CoP 精度在 15 kPa 以下保持稳定。
• 鲁棒性误差分析（MAD）显示，模型在不同受试者与输入数据质量下均表现一致，即使在关节点遮挡情况下也仅有轻微退化。