[논문 리뷰] From Kinematics To Dynamics: Estimating Center of Pressure and Base of Support from Video Frames of Human Motion

Jesse Scott, Christopher Funk외 4명|arXiv (Cornell University)|2020. 01. 02.

Diabetic Foot Ulcer Assessment and Management참고 문헌 52인용 수 7

한 줄 요약

이 논문은 단일 영상 프레임에서 인간의 신체 관절 자세(운동학)로부터 발압력 히트맵(역학적 동역학)을 추정하는 딥러닝 모델인 PressNet과 PressNet-Simple을 제안한다. 태극성조 연습 동안 813,050개의 동기화된 영상 및 압력 쌍을 포함하는 새로운 데이터셋을 사용하여, 중심압력(CoP)과 지지기저(BoS) 예측에서 최신 기술 수준의 정확도를 달성하였으며, 운동학에서 비침습적, 저비용 시각 센서를 통한 인간 역학의 종단 간 회귀를 처음으로 실현하였다.

ABSTRACT

To gain an understanding of the relation between a given human pose image and the corresponding physical foot pressure of the human subject, we propose and validate two end-to-end deep learning architectures, PressNet and PressNet-Simple, to regress foot pressure heatmaps (dynamics) from 2D human pose (kinematics) derived from a video frame. A unique video and foot pressure data set of 813,050 synchronized pairs, composed of 5-minute long choreographed Taiji movement sequences of 6 subjects, is collected and used for leaving-one-subject-out cross validation. Our initial experimental results demonstrate reliable and repeatable foot pressure prediction from a single image, setting the first baseline for such a complex cross modality mapping problem in computer vision. Furthermore, we compute and quantitatively validate the Center of Pressure (CoP) and Base of Support (BoS) from predicted foot pressure distribution, obtaining key components in pose stability analysis from images with potential applications in kinesiology, medicine, sports and robotics.

연구 동기 및 목표

• 비침습적, 저비용 시각 센서를 사용하여, 영상 기반 딥러닝을 통한 인간 신체 운동학에서 발압력 역학으로의 직접적인 맵핑 수립.
• 복잡한 인간 운동 시퀀스를 위한 대규모, 동기화된 영상 및 발압력 데이터셋 개발.
• 단일 영상 프레임에서 중심압력(CoP)과 지지기저(BoS)를 추정함으로써 자세 안정성의 정량적 분석 가능화.
• 힘판이나 인솔이 없이도 수동적, 저비용 시각 센서로부터 인간 신체 역학을 유추할 수 있는지의 타당성 검증.
• 포즈 추정을 넘어서 정량적 인간 역학으로 확장되는 컴퓨터 비전 분야의 향후 연구를 위한 기준 제공.

제안 방법

• PressNet과 PressNet-Simple는 OpenPose(Body25 모델)를 통해 추출한 2D 관절 좌표에서 발압력 히트맵을 회귀하기 위해 훈련된 깊이 컨볼루션 잔차 네트워크이다.
• 입력은 25개 관절의 2D 자세 표현과 신뢰도 점수를 포함하며, 출력은 킬로파스칼(kPa) 단위의 발압력 강도 2D 히트맵이다.
• 6명의 참가자가 5분 분량의 태극성조 루틴을 수행한 대규모 데이터셋(813,050개의 동기화된 영상 및 발압력 쌍)을 사용하여 모델을 훈련시켰다.
• 예측된 압력 히트맵에서 중심압력(CoP)과 지지기저(BoS)는 임계값 기반 분할 및 기하 분석을 통해 계산된다.
• 성능 평가에는 평균 절대 오차(MAE), 중앙절대편차(MAD), 교차율(IoU), 유클리드 오차를 사용하였으며, 관절 가림 상황에서도 성능을 검증하였다.
• 압력 기반 분할에 3 kPa 임계값을 사용하였으며, 이는 인솔 센서의 한계와 일치한다. 임계값 민감도는 CoP 및 BoS 정확도 분석에 포함되었다.

실험 결과

연구 질문

• RQ1 딥러닝을 사용하여 단일 영상 프레임에서 2D 인간 관절 자세로부터 발압력 역학을 정확하게 추정할 수 있는가?
• RQ2 관절이 누락되거나 가림을 받는 상황에서도 발압력 및 유도된 안정성 지표(CoP 및 BoS) 예측은 얼마나 견고한가?
• RQ3 예측된 히트맵에서 정확한 CoP 및 BoS 추정을 위한 최적의 압력 임계값은 무엇인가?
• RQ4 예측된 압력 지ap은 기존 생체역학 측정 기준 수준과 유사한 중심압력(CoP) 오차를 제공하는가?
• RQ5 특수 센서 없이 수동적, 단일 시야 영상에서 인간 신체 역학을 추정하는 것이 가능한가?

주요 결과

• PressNet-Simple는 CoP 유클리드 오차 12.8 mm를 기록하였으며, 중심질량(CoM) 연구에서 인정받는 범위(16.2 mm) 내에 들어간다.
• PressNet는 CoP 유클리드 오차 10.9 mm를 기록하여 영상에서의 동적 안정성 추정에 높은 정확도를 입증하였다.
• 모델들은 K-최근접 이웃 기반 모델 대비 발압력 지도 추정에서 유의미한 성능 향상을 보였으며, 통계적으로 유의미한 개선이 있었다.
• 관절 가림이 진행될수록 압력 예측 오차는 점진적으로 증가하며, 약 절반의 관절이 누락되었을 때는 포화 상태에 도달한다.
• IoU 지표를 사용한 BoS 추정에서 최적의 임계값은 8~15 kPa 사이에 위치하며, CoP 정확도는 15 kPa 이하에서는 안정성을 유지한다.
• 강건한 오차 분석(MAD) 결과, 참가자 및 입력 데이터 품질에 관계없이 일관된 성능을 보였으며, 관절 가림 상황에서도 최소한의 성능 저하가 있었다.