[논문 리뷰] Physics-informed Deep Learning for Musculoskeletal Modelling: Predicting Muscle Forces and Joint Kinematics from Surface EMG

Jie Zhang, Yihui Zhao외 5명|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|2022. 07. 04.

Muscle activation and electromyography studies인용 수 22

한 줄 요약

표면 EMG를 통해 근육 힘과 관절 각도를 예측하는 물리 정보 기반 CNN 프레임워크로, 손실 함수에 근골격 물리법칙을 소프트 제약으로 내재화하며, 무릎과 손목 데이터셋에서 검증되었다.

ABSTRACT

Musculoskeletal models have been widely used for detailed biomechanical analysis to characterise various functional impairments given their ability to estimate movement variables (i.e., muscle forces and joint moment) which cannot be readily measured in vivo. Physics-based computational neuromusculoskeletal models can interpret the dynamic interaction between neural drive to muscles, muscle dynamics, body and joint kinematics and kinetics. Still, such set of solutions suffers from slowness, especially for the complex models, hindering the utility in real-time applications. In recent years, data-driven methods has emerged as a promising alternative due to the benefits in speedy and simple implementation, but they cannot reflect the underlying neuromechanical processes. This paper proposes a physics-informed deep learning framework for musculoskeletal modelling, where physics-based domain knowledge is brought into the data-driven model as soft constraints to penalise/regularise the data-driven model. We use the synchronous muscle forces and joint kinematics prediction from surface electromyogram (sEMG) as the exemplar to illustrate the proposed framework. Convolutional neural network (CNN) is employed as the deep neural network to implement the proposed framework. At the same time, the physics law between muscle forces and joint kinematics is used the soft constraint. Experimental validations on two groups of data, including one benchmark dataset and one self-collected dataset from six healthy subjects, are performed. The experimental results demonstrate the effectiveness and robustness of the proposed framework.

연구 동기 및 목표

• 물리 기반 신경근 지식과 데이터 기반 학습을 결합하여 빠르고 정확한 근골격 예측을 촉진한다.
• EMG 신호를 근육 힘과 관절 운동학으로 매핑하는 CNN 기반 프레임워크를 개발한다.
• 근육 힘과 관절 운동 사이의 물리 법칙을 훈련의 소프트 제약으로 포함시킨다.
• 벤치마크 보행 및 손목 운동 데이터셋에서 강건성 및 일반화를 입증한다.

제안 방법

• 시간 시리즈 EMG와 시간 스텝을 근육 힘과 관절 각도로 매핑하기 위해 CNN을 사용한다.
• 전체 손실을 L_total = L_F + L_θ + L_P 로 형식화하며, L_F와 L_θ는 힘과 각도의 MSE 손실이고, L_P는 물리 기반 운동 방정식을 강제한다.
• L_P는 M(θ)θ¨ + C(θ,θ˙) + G(θ) = τ, 와 τ = Σ r_n F^n_t에서 도출되며, Newton-Euler 역학으로부터의 편차를 벌점화한다.
• 경량 CNN 구축: 하나의 컨볼루션 블록, 두 개의 완전 연결 블록, 회귀 블록; SGD로 학습, 배치 크기 1, 1200 반복, 학습률 0.01, 드롭아웃 0.3.
• CNN을 다른 아키텍처(LSTM, GAN)로 교체하고 더 많은 물리 제약(Hill 모델, 활성화 다이나믹스)을 추가하는 유연성을 보인다.
• 무릎 및 손목 데이터셋에서 RMSE 및 Pearson CC로 평가하고 CNN, ML-ELM, ELM, SVR와 비교한다.

실험 결과

연구 질문

• RQ1 표면 EMG에서 물리 정보가 반영된 CNN이 근육 힘과 관절 운동학을 정확하게 예측할 수 있는가.
• RQ2 물리 법칙을 소프트 제약으로 포함시키는 것이 순수 데이터 기반 모델에 비해 강건성과 일반화를 향상시키는가?
• RQ3 다양한 피실험자와 세션에서 무릎과 손목 움직임에 대해 프레임워크의 성능은 어떠한가?
• RQ4 물리 제약이 포함될 때 학습 데이터 크기가 성능에 미치는 영향은 무엇인가?
• RQ5 다른 신경망 아키텍처 및 추가 물리 법칙에 프레임워크의 유연성은 얼마나 되는가?

주요 결과

• 제안된 물리 정보 기반 CNN은 대다수 피실험자에서 무릎 및 손목 케이스에 대해 기반 방법보다 낮은 RMSE와 더 높은 CC를 달성한다.
• 물리 제약의 내재화는 강건성을 향상시키고 과적합을 줄여 더 작은 학습 데이터 세트로도 좋은 성능을 가능하게 한다.
• CNN을 더 간단한 네트워크로 구성해도 때로는 더 깊은 CNN 기반선의 성능에 버금가거나 이를 능가하며 물리 기반 정규화의 이점을 보인다.
• 세션 내 상황에서 걷기 속도가 변해도 프레임워크는 대부분의 기준선보다 더 강건한 상태를 유지한다.
• 학습 데이터 크기는 모든 모델에 영향을 주지만, 물리 정보 기반 접근은 더 적은 샘플로도 더 빠른 수렴과 더 나은 성능을 보인다.