[논문 리뷰] OpenCap Monocular: 3D Human Kinematics and Musculoskeletal Dynamics from a Single Smartphone Video

Selim Gilon, Emily Y. Miller외 1명|arXiv (Cornell University)|2026. 03. 25.

Human Pose and Action Recognition인용 수 0

한 줄 요약

OpenCap Monocular는 단일 스마트폰 비디오로 3D 골격 운동학 및 역학을 추정하며, 단안 포즈 추정을 정제하고 물리 기반 및 ML 모델을 사용하여 역학을 계산합니다; 마커 기반 데이터로 검증되었고 두 대 카메라 시스템과 비교할 만합니다.

ABSTRACT

Quantifying human movement (kinematics) and musculoskeletal forces (kinetics) at scale, such as estimating quadriceps force during a sit-to-stand movement, could transform prediction, treatment, and monitoring of mobility-related conditions. However, quantifying kinematics and kinetics traditionally requires costly, time-intensive analysis in specialized laboratories, limiting clinical translation. Scalable, accurate tools for biomechanical assessment are needed. We introduce OpenCap Monocular, an algorithm that estimates 3D skeletal kinematics and kinetics from a single smartphone video. The method refines 3D human pose estimates from a monocular pose estimation model (WHAM) via optimization, computes kinematics of a biomechanically constrained skeletal model, and estimates kinetics via physics-based simulation and machine learning. We validated OpenCap Monocular against marker-based motion capture and force plate data for walking, squatting, and sit-to-stand tasks. OpenCap Monocular achieved low kinematic error (4.8° mean absolute error for rotational degrees of freedom; 3.4 cm for pelvis translations), outperforming a regression-only computer vision baseline by 48% in rotational accuracy (p = 0.036) and 69% in translational accuracy (p < 0.001). OpenCap Monocular also estimated ground reaction forces during walking with accuracy comparable to, or better than, our prior two-camera OpenCap system. We demonstrate that the algorithm estimates important kinetic outcomes with clinically meaningful accuracy in applications related to frailty and knee osteoarthritis, including estimating knee extension moment during sit-to-stand transitions and knee adduction moment during walking. OpenCap Monocular is deployed via a smartphone app, web app, and secure cloud computing (https://opencap.ai), enabling free, accessible single-smartphone biomechanical assessments.

연구 동기 및 목표

• 특정 실험실을 벗어나 확장 가능한 접근 가능한 생체역학적 평가가 필요하다는 동기 부여.
• 단일 스마트폰 비디오로 3D 운동학 및 역학을 추정하는 단안 파이프라인 개발.
• 컴퓨터 비전, 물리 기반 최적화 및 기계 학습을 통합하여 물리적으로 타당한 움직임과 힘을 생성.
• 걸음, 쭈그려 서기, 앉았다 일어나기 등의 작업에서 마커 기반 모션 캡처 및 힘 플레이트에 대해 정확도 검증.
• 불안정성 및 무릎 골관절염 관련 지표의 임상적 관련성 시연 및 접근성 강화를 위한 클라우드 기반 배포 제공

제안 방법

• WHAM으로부터의 3D 포즈 추정을 ViTPose 유래 2D 키포인트로 보정하여 드리프트 및 발-바닥 인공물을 감소시키고.
• biomechanical 제약 하에서 카메라 외생 변수 및 SMPL 포즈/형상 최적화를 위한 2단계 포즈 정제.
• refined 포즈에서 마커로서 38개의 가상 SMPL 정점 추출 및 OpenSim 역운동학 수행.
• 참가자에 맞게 스케일된 33 DOF의 제약된 근골격 모델로 운동학 계산.
• Ground reaction forces 및 관절/근육 모멘트를 가능하게 하는 물리 기반(근육 구동 직접 대입 최적화) 및 기계 학습(GaitDynamics) 접근 방식으로 역역학 추정.
• GPU 처리와 함께 웹/ iOS용 클라우드 기반 앱을 통해 파이프라인 배포; 활동 분류가 파라미터 선택에 도움; 후처리 도구 제공

실험 결과

연구 질문

• RQ1 OpenCap Monocular가 단일 스마트폰 비디오를 사용하여 마커 기반 모션 캡처에 근접한 운동학 정확도를 달성할 수 있는가?
• RQ2 단안 운동학과 물리 기반 및 ML 모델을 결합하면 임상적으로 의미 있는 역학 추정(예: 무릎 모멘트, 지면 반력)을 얻을 수 있는가?
• RQ3 OpenCap Monocular가 직접 CV+IK 베이스라인 및 저자들의 두 대 카메라 OpenCap과 정확도 측면에서 어떻게 비교되는가?
• RQ4 앉았다 일어나기 및 걷기와 같은 기능적 작업에서 관절 모멘트의 임상적으로 관련된 변화를 탐지할 만큼 접근 방식이 충분히 견고한가?
• RQ5 단일 카메라 모바일 생체역학의 임상 및 원격 모니터링 적용 가능성은 얼마나 되는가?

주요 결과

• OpenCap Monocular는 걷기, 쿈작, 그리고 앉았다 일어나기를 포함한 작업에서 회전 운동학의 MAE 4.8°, 골반 평행이동의 MAE 3.4 cm를 달성하였고, CV+IK 베이스라인보다 회전에 대해 48%, 평형 이동에 대해 69% 더 우수하며(p=0.036, p<0.001).
• 운동학 정확도는 회전에 대해 두 대 카메라 OpenCap과 1° 이내, 평행 이동에 대해 2 cm 이내로 일치했습니다.
• 걷기 동안의 지면 반력은 MAE BW로 9.7%로 추정되었으며 CV+IK보다 우수(13.6% BW, p=0.002)하고 두 대 카메라 OpenCap 성능에 근접했습니다.
• 앉았다 일어나기 동안의 무릎 확장 모멘트는 MAE 5.8 Nm으로, 악화 위험이 임상적으로 의미 있는 임계치인 11 Nm보다 낮고(상관 강도 r^2=0.64의 페이즈 평균 일치) 강한 상관을 보였습니다.
• 걷기 중의 무릎 내전 모멘트(KAM)의 첫 번째 피크 MAE는 0.36% BW·ht로, 0.5% BW·ht의 임상 임계치 아래이며 두 대 카메라 OpenCap과 비교해도 유사합니다(0.41% BW·ht).
• 포즈 정제가 다섯 번 반복 후 골반 드리프트를 4.9 cm(OpenCap Monocular) 대 CV+IK의 56.9 cm로 유의하게 감소시켰습니다.