[論文レビュー] OpenCap Monocular: 3D Human Kinematics and Musculoskeletal Dynamics from a Single Smartphone Video

Selim Gilon, Emily Y. Miller+1 more|arXiv (Cornell University)|Mar 25, 2026

Human Pose and Action Recognition被引用数 0

ひとこと要約

OpenCap Monocularは単一スマホ動画から3D人体運動と筋力を推定。モノクラPose推定を改良し、物理ベースとMLモデルを用いてダイナミクスを計算。マーカーベースデータと比較・二カメラ系と同等程度の性能。

ABSTRACT

Quantifying human movement (kinematics) and musculoskeletal forces (kinetics) at scale, such as estimating quadriceps force during a sit-to-stand movement, could transform prediction, treatment, and monitoring of mobility-related conditions. However, quantifying kinematics and kinetics traditionally requires costly, time-intensive analysis in specialized laboratories, limiting clinical translation. Scalable, accurate tools for biomechanical assessment are needed. We introduce OpenCap Monocular, an algorithm that estimates 3D skeletal kinematics and kinetics from a single smartphone video. The method refines 3D human pose estimates from a monocular pose estimation model (WHAM) via optimization, computes kinematics of a biomechanically constrained skeletal model, and estimates kinetics via physics-based simulation and machine learning. We validated OpenCap Monocular against marker-based motion capture and force plate data for walking, squatting, and sit-to-stand tasks. OpenCap Monocular achieved low kinematic error (4.8° mean absolute error for rotational degrees of freedom; 3.4 cm for pelvis translations), outperforming a regression-only computer vision baseline by 48% in rotational accuracy (p = 0.036) and 69% in translational accuracy (p < 0.001). OpenCap Monocular also estimated ground reaction forces during walking with accuracy comparable to, or better than, our prior two-camera OpenCap system. We demonstrate that the algorithm estimates important kinetic outcomes with clinically meaningful accuracy in applications related to frailty and knee osteoarthritis, including estimating knee extension moment during sit-to-stand transitions and knee adduction moment during walking. OpenCap Monocular is deployed via a smartphone app, web app, and secure cloud computing (https://opencap.ai), enabling free, accessible single-smartphone biomechanical assessments.

研究の動機と目的

• 専門的ラボを離れても実現可能なスケーラブルでアクセスしやすい生体力学的評価を動機づける。
• 単一スマートフォン動画から3D運動学と運動力学を推定するモノクラ Pipelineを開発。
• computer vision、物理ベースの最適化、機械学習を統合し、物理的に妥当な運動と力を生成。
• 歩行、スクワット、座位・立位動作を横断して、マーカーベースのモーションキャプチャとフォースプレートに対する精度を検証。
• 腰痛リスク低下や膝の変形性関節症関連指標の臨床的有用性を示し、クラウドデプロイメントでアクセス性を提供。

提案手法

• WHAMからの3Dポーズ推定をViTPose由来の2Dキーポイントで refining し、ドリフトや足床アーティファクトを低減。
• Biomechanical constraintsの下でカメラ外部パラメータとSMPLポーズ/形状を最適化する2段階のポーズ refinement。
• refined poseに対してOpenSim逆運動学を実行し、38個の仮想SMPL頂点をマーカーとして抽出。
• 参与者に合わせてスケールされた33 DOFの制約付き機械的モデルで運動学を計算。
• 物理ベースのモーション推定（筋肉駆動の直接対決最適化）と機械学習（GaitDynamics）アプローチで運動力学を推定し、地面反力および関節/筋力モーメントを算出。
• クラウド対応アプリ（ウェブ/ iOS）でパイプラインを展開し、GPU処理を実現；活動分類がパラメータ選択を支援；後処理ツールを提供。

実験結果

リサーチクエスチョン

• RQ1 OpenCap Monocularは単一スマホ動画を用いて、マーカーベースのモーションキャプチャに近い運動学的精度を達成できるか。
• RQ2 モノクラ運動学と物理ベースおよびMLモデルを組み合わせると、実臨床に意味のある運動力学推定（例：膝モーメント、地面反力）を得られるか。
• RQ3 OpenCap Monocularは直接CV+IKベースラインおよび著者らの二カメラOpenCapと比較して精度が上か。
• RQ4 座位・立位動作や歩行などの機能タスクで、関節モーメントの臨床的に意味のある変化を検出するほど頑健か。
• RQ5 単一カメラのモバイル生体力学は臨床・遠隔モニタリングにどの程度の潜在力があるか。

主な発見

• OpenCap Monocularは、歩行、スクワット、座位-to-standタスク全体で回転運動学のMAEが4.8°、骨盤平行移動のMAEが3.4 cmで、CV+IKベースラインより回転で48%、平行移動で69%（p=0.036, p<0.001）を上回った。
• 運動学的精度は、回転で二カメラOpenCapと1°未満、平移で2 cm未満の範囲で一致。
• 歩行時の地面反力はBWあたり9.7% MAEで推定され、CV+IKより優れ（13.6% BW、p=0.002）二カメラOpenCapのパフォーマンスに接近。
• 座位-to-stand時の膝伸展モーメントのMAEは5.8 Nmで、虚弱の臨床的意味の閾値11 Nmを下回り、位相平均の強い一致度（r^2=0.64）。
• 歩行時の膝内転モーメント（KAM）の第1ピークMAEは0.36% BW・htで臨床閾値0.5% BW・htを下回り、二カメラOpenCap（0.41% BW・ht）と比較しても同等。
• ポーズ refinementは平行移動のドリフトを著しく低減（5回反復後の骨盤ドリフト：OpenCap Monocular 4.9 cm vs CV+IK 56.9 cm）。