Skip to main content
QUICK REVIEW

[论文解读] OpenCap Monocular: 3D Human Kinematics and Musculoskeletal Dynamics from a Single Smartphone Video

Selim Gilon, Emily Y. Miller|arXiv (Cornell University)|Mar 25, 2026
Human Pose and Action RecognitionComputer Science被引用 0
一句话总结

OpenCap Monocular 通过改进单目姿态估计并使用基于物理和ML模型来计算动力学,从单一智能手机视频中估计3D人体运动学与肌力;并与标记法数据验证,与两摄系统相比拟。

ABSTRACT

Quantifying human movement (kinematics) and musculoskeletal forces (kinetics) at scale, such as estimating quadriceps force during a sit-to-stand movement, could transform prediction, treatment, and monitoring of mobility-related conditions. However, quantifying kinematics and kinetics traditionally requires costly, time-intensive analysis in specialized laboratories, limiting clinical translation. Scalable, accurate tools for biomechanical assessment are needed. We introduce OpenCap Monocular, an algorithm that estimates 3D skeletal kinematics and kinetics from a single smartphone video. The method refines 3D human pose estimates from a monocular pose estimation model (WHAM) via optimization, computes kinematics of a biomechanically constrained skeletal model, and estimates kinetics via physics-based simulation and machine learning. We validated OpenCap Monocular against marker-based motion capture and force plate data for walking, squatting, and sit-to-stand tasks. OpenCap Monocular achieved low kinematic error (4.8° mean absolute error for rotational degrees of freedom; 3.4 cm for pelvis translations), outperforming a regression-only computer vision baseline by 48% in rotational accuracy (p = 0.036) and 69% in translational accuracy (p < 0.001). OpenCap Monocular also estimated ground reaction forces during walking with accuracy comparable to, or better than, our prior two-camera OpenCap system. We demonstrate that the algorithm estimates important kinetic outcomes with clinically meaningful accuracy in applications related to frailty and knee osteoarthritis, including estimating knee extension moment during sit-to-stand transitions and knee adduction moment during walking. OpenCap Monocular is deployed via a smartphone app, web app, and secure cloud computing (https://opencap.ai), enabling free, accessible single-smartphone biomechanical assessments.

研究动机与目标

  • 在专业实验室之外实现可扩展、可获取的生物力学评估。
  • 开发一个单目管线,从单手机视频估计3D运动学和动力学。
  • 整合计算机视觉、基于物理的优化和机器学习,产生物理上合理的运动与力。
  • 在步态、深蹲和坐立等任务中,与标记基运动捕捉与力板的准确性进行验证。
  • 展示对虚弱和膝关节炎相关指标的临床相关性,并提供云端部署以提升可及性。

提出的方法

  • 从WHAM得到的3D姿态估计并结合ViTPose衍生的2D关键点以降低漂移与脚-地面伪影的影响。
  • 两阶段姿态 refinements,优化相机外参和SMPL姿态/形状,同时符合生物力学限制。
  • 将38个虚拟SMPL顶点作为标记提取,并对 refined 姿态执行OpenSim逆运动学。
  • 使用受限的肌肉骨骼模型(33自由度)并按参与者进行缩放来计算运动学。
  • 通过基于物理的(肌肉驱动的直接共轭优化)和机器学习(GaitDynamics)方法估计动力学,从而获得地面反力与关节/肌肉力矩。
  • 通过云端应用(网页/iOS)部署管线,支持GPU处理;活动分类用于参数选择;提供后处理工具。

实验结果

研究问题

  • RQ1OpenCap Monocular 是否能在仅用单一智能手机视频的条件下达到接近标记基运动捕捉的运动学精度?
  • RQ2单目运动学若结合基于物理和ML模型,是否能产生具有临床意义的动力学估计(如膝关节力矩、地面反力)?
  • RQ3OpenCap Monocular 与直接CV+IK基线以及作者的双摄OpenCap在准确性方面的对比为何?
  • RQ4该方法是否足够稳健,能够在诸如坐立和步行等功能任务中检测到与关节力矩相关的临床相关变化?
  • RQ5单摄手机生物力学在临床与远程监测中的潜力为何?

主要发现

  • OpenCap Monocular在步态、蹲举和坐立等任务中在旋转运动学方面的MAE为4.8°,在骨盆平移方面的MAE为3.4 cm;相比CV+IK基线在旋转方面提高了48%、在平移方面提高了69%(p=0.036,p<0.001)。
  • 在旋转方面的运动学精度接近双摄OpenCap(误差≤1°),在平移方面接近≤2 cm。
  • 步态期间的地面反力估计的MAE为9.7% BW,优于CV+IK(13.6% BW,p=0.002),并接近双摄OpenCap的表现。
  • 坐立时膝屈伸力矩的MAE为5.8 Nm(低于对虚弱有临床意义的11 Nm阈值),相位平均的一致性较好(r^2=0.64)。
  • 步态中的膝内收力矩(KAM)第一峰MAE为0.36% BW·ht,低于0.5% BW·ht的临床阈值,且与双摄OpenCap(0.41% BW·ht)相当。
  • 姿态 refinements 显著减少平移漂移(五次重复后骨盆漂移:OpenCap Monocular 为4.9 cm,而CV+IK为56.9 cm)。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。