[論文レビュー] Neuromuscular Reinforcement Learning to Actuate Human Limbs through FES

Nat Wannawas, Ali Shafti+1 more|arXiv (Cornell University)|Sep 16, 2022

Muscle activation and electromyography studies被引用数 7

ひとこと要約

本論文は、非マルコフ的筋肉動態をモデル化し、長期にわたり安定した制御を可能にする再帰的ニューラルネットワークを用いて、麻痺した肢の運動を誘発するための機能的電気刺激（FES）を制御する神経筋委縮強化学習（RL）フレームワークを提案する。この手法は、時間経過に伴う性能の維持において従来のPID制御器を上回り、シミュレーションおよび実世界の実験の両方でより効果的な刺激パターンを生成する。

ABSTRACT

Functional Electrical Stimulation (FES) is a technique to evoke muscle contraction through low-energy electrical signals. FES can animate paralysed limbs. Yet, an open challenge remains on how to apply FES to achieve desired movements. This challenge is accentuated by the complexities of human bodies and the non-stationarities of the muscles' responses. The former causes difficulties in performing inverse dynamics, and the latter causes control performance to degrade over extended periods of use. Here, we engage the challenge via a data-driven approach. Specifically, we learn to control FES through Reinforcement Learning (RL) which can automatically customise the stimulation for the patients. However, RL typically has Markovian assumptions while FES control systems are non-Markovian because of the non-stationarities. To deal with this problem, we use a recurrent neural network to create Markovian state representations. We cast FES controls into RL problems and train RL agents to control FES in different settings in both simulations and the real world. The results show that our RL controllers can maintain control performances over long periods and have better stimulation characteristics than PID controllers.

研究の動機と目的

• 非定常的筋肉応答に起因する正確で長期間にわたるFES誘発運動の実現という課題に取り組む。
• FES制御におけるマルコフ的RL仮定の限界を克服し、筋肉動態における時間的依存性をモデル化する。
• 個々の神経筋可塑性に適応可能なデータ駆動型で患者カスタマイズ可能なFES制御システムを開発する。
• シミュレーションおよび実世界の設定において、RL制御器の性能を従来のPID制御と比較する。

提案手法

• 追従誤差と刺激エネルギーを最小化するように設計された報酬関数を用いて、FES制御を強化学習問題として定式化する。
• 履歴依存の筋肉応答をマルコフ的状態表現に変換するため、再帰的ニューラルネットワーク（RNN）を用いることで、安定なRL学習を可能にする。
• 深層RLエージェント（例：SACやPPO）をシミュレーテッド神経筋動態上で学習させ、最適な刺激パターンを学習する。
• 表面電極を用いた被験者を対象とした実世界のFESシステムに、学習済みポリシーを移行する。
• リアルタイムフィードバックと適応的報酬形状を組み込むことで、長時間にわたるセッションでも性能を維持する。
• 追従精度および刺激エネルギーの観点から、RL制御器の性能をベースラインのPID制御器と比較する。

実験結果

リサーチクエスチョン

• RQ1 非定常的筋肉応答に起因する状況下でも、強化学習エージェントは望ましい肢の運動をFESで制御できるか？
• RQ2 RNNを用いることで、標準的なマルコフ的RLと比較して、RLベースのFES制御の安定性と性能はどのように向上するか？
• RQ3 臨床応用で求められる長時間にわたる制御性能を、RL制御器は維持できるか？
• RQ4 追従精度および刺激エネルギー効率の観点から、RL制御器はPID制御器と比較してどのように異なるか？
• RQ5 RLポリシーは、異なる個人および神経筋状態に一般化可能か？

主な発見

• RL制御器は、筋肉の疲労や非定常性に強く、長期間にわたり高い追従精度を維持した。
• RNNを用いた状態表現は、非再帰的モデルと比較して学習の安定性と性能を顕著に向上させた。
• RL制御器は、追従性能を維持または向上させつつ、PIDベースラインよりも低い刺激エネルギー消費量を達成した。
• 実世界の実験において、被験者間で一般化が可能であり、患者個別カスタマイズの可能性を示した。
• 複数回のセッションにわたり安定した性能を示したため、臨床応用における長期的実用性が裏付けられた。