[論文レビュー] Physics-informed Deep Learning for Musculoskeletal Modelling: Predicting Muscle Forces and Joint Kinematics from Surface EMG

Jie Zhang, Yihui Zhao+5 more|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Jul 4, 2022

Muscle activation and electromyography studies被引用数 22

ひとこと要約

表面EMGから筋力と関節角を予測する、筋骨格物理を損失関数のソフト制約として組み込む物理情報付きCNNフレームワーク。膝および手首データセットで検証。

ABSTRACT

Musculoskeletal models have been widely used for detailed biomechanical analysis to characterise various functional impairments given their ability to estimate movement variables (i.e., muscle forces and joint moment) which cannot be readily measured in vivo. Physics-based computational neuromusculoskeletal models can interpret the dynamic interaction between neural drive to muscles, muscle dynamics, body and joint kinematics and kinetics. Still, such set of solutions suffers from slowness, especially for the complex models, hindering the utility in real-time applications. In recent years, data-driven methods has emerged as a promising alternative due to the benefits in speedy and simple implementation, but they cannot reflect the underlying neuromechanical processes. This paper proposes a physics-informed deep learning framework for musculoskeletal modelling, where physics-based domain knowledge is brought into the data-driven model as soft constraints to penalise/regularise the data-driven model. We use the synchronous muscle forces and joint kinematics prediction from surface electromyogram (sEMG) as the exemplar to illustrate the proposed framework. Convolutional neural network (CNN) is employed as the deep neural network to implement the proposed framework. At the same time, the physics law between muscle forces and joint kinematics is used the soft constraint. Experimental validations on two groups of data, including one benchmark dataset and one self-collected dataset from six healthy subjects, are performed. The experimental results demonstrate the effectiveness and robustness of the proposed framework.

研究の動機と目的

• 物理ベースの神経筋知識とデータ駆動学習を結合することで、迅速で正確な筋骨格予測の動機づけを行う。
• EMG信号を筋力と関節運動学へ写像するCNNベースのフレームワークを開発する。
• 筋力と関節運動を結ぶ物理法則をトレーニング時のソフト制約として組み込む。
• 歩行と手首運動のベンチマークデータセットでロバスト性と一般化性能を示す。

提案手法

• 時系列EMGと時刻ステップを筋力と関節角度へ写像するCNNを用いる。
• 全損失を L_total = L_F + L_θ + L_P と定式化し、L_FとL_θは力と角度のMSE損失、L_Pは物理ベースの運動方程式を課す。
• L_Pは M(θ)θ¨ + C(θ,θ˙) + G(θ) = τ から導出され、τ = Σ r_n F^n_t、ニュートン-オイラー力学からの逸脱を抑制する。
• 軽量なCNNを設計：1つの畳み込みブロック、2つの全結合ブロック、1つの回帰ブロック。SGDで訓練、バッチサイズ1、総反復1200、学習率0.01、ドロップアウト0.3。
• CNNを他のアーキテクチャ（LSTM、GAN）に置き換える柔軟性や、さらなる物理制約（Hillモデル、活性化ダイナミクス）を追加する可能性を示す。
• 膝と手首データセットでRMSEとPearson CCを用いて評価し、CNN、ML-ELM、ELM、SVRと比較する。

実験結果

リサーチクエスチョン

• RQ1 物理情報を組み込んだCNNは表面EMGから筋力と関節運動学を正確に予測できるか。
• RQ2 物理をソフト制約として埋め込むことは、純粋なデータ駆動モデルと比較してロバスト性と一般化を改善するか。
• RQ3 異なる被験者とセッションに跨って、膝と手首の動作でフレームワークの性能はどうか。
• RQ4 物理制約を含む場合、学習データサイズが性能に与える影響はどうか。
• RQ5 他のニューラルアーキテクチャや追加の物理法則への適用性はどれくらい柔軟か。

主な発見

• 提案された物理情報付きCNNは、膝と手首のケースでほとんどの被験者においてベースライン手法よりも低いRMSEと高いCCを達成した。
• 物理制約を組み込むことでロバスト性が向上し過学習を抑制し、より小さな訓練データセットでも良好な性能を発揮する。
• より単純なネットワークを用いたフレームワークは、深いCNNベースラインと同等かそれ以上の性能を示すことがあり、物理ベースの正則化の利点を示している。
• 同一セッション内の状況では、歩行速度の変化にもかかわらず、他の大半のベースラインよりロバストである。
• 訓練データサイズはすべてのモデルに影響するが、物理情報付きアプローチは収束が速く、サンプル数が少ない場合により良い性能を示す。