[논문 리뷰] Learning Dynamics from Kinematics: Estimating Foot Pressure from Video

Christopher Funk, S. Nagendra외 4명|arXiv (Cornell University)|2018. 11. 30.

Diabetic Foot Ulcer Assessment and Management참고 문헌 46인용 수 1

한 줄 요약

이 논문은 영상에서 파생된 2D 인간 자세 시퀀스로부터 발압 히트맵과 압력 중심(CoP)을 추정하는 엔드 투 엔드 딥 러닝 모델인 PressNET을 제안한다. 5분 이상의 동기화된 태극권 영상과 압력 데이터로 훈련된 PressNET은 K-Nearest Neighbors 기준선을 크게 능가하며, 실험실 기반 안정성 측정과 밀도적으로 일치하는 CoP 추정을 달성한다.

ABSTRACT

Pose stability analysis is the key to understanding locomotion and control of body equilibrium, with applications in numerous fields such as kinesiology, medicine, and robotics. In biomechanics, Center of Pressure (CoP) is used in studies of human postural control and gait. We propose and validate a novel approach to learn CoP from pose of a human body to aid stability analysis. More specifically, we propose an end-to-end deep learning architecture to regress foot pressure heatmaps, and hence the CoP locations, from 2D human pose derived from video. We have collected a set of long (5min +) choreographed Taiji (Tai Chi) sequences of multiple subjects with synchronized foot pressure and video data. The derived human pose data and corresponding foot pressure maps are used jointly in training a convolutional neural network with residual architecture, named PressNET. Cross-subject validation results show promising performance of PressNET, significantly outperforming the baseline method of K-Nearest Neighbors. Furthermore, we demonstrate that our computation of center of pressure (CoP) from PressNET is not only significantly more accurate than those obtained from the baseline approach but also meets the expectations of corresponding lab-based measurements of stability studies in kinesiology.

연구 동기 및 목표

• 영상 기반 2D 인간 자세를 이용해 발압과 압력 중심(CoP)을 추정하는 방법을 개발하여 이동 및 자세 안정성 분석을 지원한다.
• 태극권과 같은 동적 운동 중에 비침습적 방법으로 CoP를 정확하게 추정할 수 있는 방법의 부족을 해결한다.
• 다양한 피험자에게 일반화되며, 자세 시퀀스에서 압력 히트맵을 정확하게 재구성할 수 있는 딥 러닝 모델을 구축한다.
• 운동학 및 생체역학 분야에서 널리 사용되는 실험실 기반 측정 기준과 비교하여 모델 성능을 검증한다.
• 재활, 로봇공학, 보행 연구 등 응용 분야에서 확장 가능하고 비용 효율적인 안정성 분석을 가능하게 한다.

제안 방법

• 다양한 피험자가 태극권을 수행하는 5분 이상의 동기화된 영상과 발압 기록을 포함한 맞춤형 데이터셋을 확보하였다.
• 영상에서 자세 추정 기술을 사용하여 2D 인간 자세를 추출하고 이를 모델의 입력으로 사용하였다.
• PressNET은 잔차 컨볼루션 신경망으로서, 2D 자세 시퀀스에서 직접 2D 발압 히트맵을 회귀하도록 설계되었다.
• 신체 구조와 압력 분포 간의 맵핑을 학습하기 위해 신체 자세와 압력 데이터를 함께 사용하여 엔드 투 엔드로 훈련되었다.
• 다른 피험자에게도 일반화되고 탄력적인지 평가하기 위해 교차 피험자 검증을 수행하였다.
• 모델 성능을 K-Nearest Neighbors 기준선과 비교하고 실험실 기반 안정성 지표와 검증하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 동적 운동 중 2D 인간 자세 시퀀스로부터 발압 히트맵을 정확하게 추정할 수 있는가?
• RQ2 제안된 PressNET 모델의 CoP 추정 성능은 K-Nearest Neighbors 기준선과 비교해 어떻게 다른가?
• RQ3 PressNET에서 추정한 CoP 값은 운동학 분야에서 널리 사용되는 실험실 기반 측정과 어느 정도 일치하는가?
• RQ4 단지 영상과 자세 데이터만을 사용하여 다양한 피험자에게 일반화될 수 있는가?
• RQ5 학습된 CoP 추정은 인간 보행의 예상되는 자세 안정성 역학을 유지하는가?

주요 결과

• PressNET은 발압 히트맵과 CoP 위치 추정에서 K-Nearest Neighbors 기준선을 뚜렷이 뛰어넘었다.
• PressNET에서 추정한 CoP는 운동학 분야의 안정성 연구에서 널리 사용되는 실험실 기반 측정과 강력한 일치를 보였다.
• 교차 피험자 검증을 통해 모델이 다양한 개인에게 일반화될 수 있음을 확인하였다.
• 장시간 태극권 시퀀스 동안의 동적 압력 분포 추정에서 높은 정확도를 달성하였다.
• 결과적으로 영상 기반 자세 데이터만으로도 전용 센서 없이 신뢰할 수 있는 압력 역학을 추론할 수 있음을 확인하였다.
• PressNET는 표준 영상과 자세 추정 기술만으로도 정확하고 비침습적인 안정성 분석을 가능하게 한다.