[논문 리뷰] Learning Dynamics from Kinematics: Estimating 2D Foot Pressure Maps from Video Frames

Christopher Funk, S. Nagendra외 5명|arXiv (Cornell University)|2018. 11. 30.

Human Pose and Action Recognition참고 문헌 61인용 수 5

한 줄 요약

이 논문은 비디오에서 추출한 2D 인간 신체 관절 자세로부터 2D 발압력 히트맵(그리고 그에 따른 압력 중심(CoP) 위치)을 회귀하는 엔드 투 엔드 딥러닝 모델인 PressNET을 제안한다. 70만 개 이상의 프레임을 포함하는 5분 이상의 동기화된 태극권 연속 영상 데이터셋을 기반으로 훈련된 PressNET은 히트맵 예측과 CoP 추정에서 K-최근접 이웃(K-Nearest Neighbors)보다 유의미하게 뛰어난 성능을 보이며, 운동학 연구에서 관찰되는 개인 간 변동 범위 내에서 높은 정확도를 달성한다.

ABSTRACT

Pose stability analysis is the key to understanding locomotion and control of body equilibrium, with applications in numerous fields such as kinesiology, medicine, and robotics. In biomechanics, Center of Pressure (CoP) is used in studies of human postural control and gait. We propose and validate a novel approach to learn CoP from pose of a human body to aid stability analysis. More specifically, we propose an end-to-end deep learning architecture to regress foot pressure heatmaps, and hence the CoP locations, from 2D human pose derived from video. We have collected a set of long (5min +) choreographed Taiji (Tai Chi) sequences of multiple subjects with synchronized foot pressure and video data. The derived human pose data and corresponding foot pressure maps are used jointly in training a convolutional neural network with residual architecture, named PressNET. Cross-subject validation results show promising performance of PressNET, significantly outperforming the baseline method of K-Nearest Neighbors. Furthermore, we demonstrate that our computation of center of pressure (CoP) from PressNET is not only significantly more accurate than those obtained from the baseline approach but also meets the expectations of corresponding lab-based measurements of stability studies in kinesiology.

연구 동기 및 목표

• 단일 시야 영상에서 직접적인 力 또는 근육 활동 측정 없이도 인간 신체 운동학, 특히 발압력 분포를 추론할 수 있는지 조사하기 위해.
• 안정성 분석을 위한 2D 인간 자세 운동학을 발압력 역학으로 매핑하는 딥러닝 프레임워크를 개발하기 위해.
• 동기화된 비디오 및 발압력 데이터를 포함한 장기적이고 도전적인 다중 참가자 데이터셋에서 모델 성능을 검증하기 위해.
• 학습된 압력 맵에서 유도된 예측된 CoP 위치가 운동학 분야에서 일반적으로 사용되는 실험실 측정값과 정량적으로 정확하고 유사한지 보여주기 위해.

제안 방법

• 모델는 OpenPose(Body25 모델)를 사용해 영상 프레임에서 추출한 2D 관절 좌표에서 2D 발압력 히트맵을 회귀하는 잔차 컬러리션 신경망(PressNET)을 사용한다.
• 입력은 25개의 관절 키포인트 위치를 나타내는 2D 자세 벡터이며, 출력은 각 발에 대한 픽셀 단위의 압력 히트맵으로, 0 kPa(파란색)에서 관측된 최대 압력(빨간색)으로 강도가 매핑된다.
• 네트워크는 6명의 참가자가 24형 태극권 루틴을 수행하는 동안 수집한 대규모 동기화된 비디오 및 발압력 데이터셋을 기반으로 엔드 투 엔드로 훈련된다.
• 시간적 일관성은 네트워크의 인덕티브 바이어스를 통해 달성되며, KNN과 달리 시간에 따라 매끄럽고 안정적인 압력 맵을 학습하여 예측한다.
• 모델 평가는 교차 참가자 검증을 통해 수행되며, 예측된 히트맵과 진짜값 간의 평균 절대 오차(MAE) 및 CoP 위치를 기준으로 성능을 측정한다.
• 압력 중심(CoP)은 예측된 압력 히트맵의 압력 분포 중심으로 계산된다.

실험 결과

연구 질문

• RQ1 비디오 입력만으로 2D 인간 신체 자세에서 압력 분포 역학을 정확하게 추정할 수 있는가?
• RQ2 2D 자세에서 발압력 맵을 예측할 때 딥러닝 모델의 성능이 전통적인 K-최근접 이웃 기반 모델보다 어떻게 뛰어나게 되는가?
• RQ3 학습된 CoP 위치 예측값이 운동학 및 생체역학 분야에서 일반적으로 사용되는 진짜값과 어느 정도 일치하는가?
• RQ4 신체 구조나 수행 스타일의 차이가 있음에도 불구하고 모델이 다양한 참가자에게 일반화 가능한가?
• RQ5 보행 및 균형 분석에 요구되는 바와 같이, 장기적인 시퀀스에서 압력 맵 예측이 시간적으로 안정적이고 일관된가?

주요 결과

• PressNET은 모든 테스트 프레임에서 K-최근접 이웃 기반 모델보다 히트맵 예측에서 유의미하게 낮은 평균 절대 오차(MAE)를 기록하며 뛰어난 성능을 보였다.
• PressNET이 예측한 CoP 위치는 평균 유클리드 오차가 10 mm 미만이었으며, 자세 안정성 연구에서 일반적으로 허용되는 범위에 속한다.
• PressNET의 CoP 예측 오차 분포는 (0,0) 주변에 집중되어 있어 높은 정밀도와 낮은 분산을 보이며, KNN 예측에서 관찰되는 높은 변동성과 대비된다.
• PressNET의 예측은 시간적으로 매끄럽고 일관되게 유지되며, KNN은 각 프레임에서의 최근접 이웃 선택으로 인해 매우 불안정한 경향을 보였다.
• 신체 구조나 수행 스타일의 차이가 있음에도 불구하고 모델은 참가자 간에 잘 일반화되었으며, 개인 간 변동성에 대한 강건성을 입증했다.
• 예측된 압력 히트맵은 시각적으로나 정량적으로 진짜값과 매우 유사했으며, 눈에 띄는 시각적 편차나 측정 오차가 거의 없었다.