[論文レビュー] Reinforcement Learning Enabled Automatic Impedance Control of a Robotic Knee Prosthesis to Mimic the Intact Knee Motion in a Co-Adapting Environment

Ruofan Wu, Minhan Li+4 more|arXiv (Cornell University)|Jan 10, 2021

Prosthetics and Rehabilitation Robotics参考文献 29被引用数 4

ひとこと要約

本研究では、歩行中の共同適応的ヒューマンロボットダイナミクスを考慮し、ロボット性膝関節義体がリアルタイムで健常側膝関節の運動を自動的に追跡できる強化学習（RL）に基づくオンラインポリシー反復アルゴリズムを提示する。この手法は、OpenSimシミュレーションおよび被験者において健常側膝関節の運動を模倣し、追跡誤差を低減する適応的インピーダンス制御を実現し、被験者固有の歩行適応パターンを明らかにした。

ABSTRACT

Automatically configuring a robotic prosthesis to fit its user's needs and physical conditions is a great technical challenge and a roadblock to the adoption of the technology. Previously, we have successfully developed reinforcement learning (RL) solutions toward addressing this issue. Yet, our designs were based on using a subjectively prescribed target motion profile for the robotic knee during level ground walking. This is not realistic for different users and for different locomotion tasks. In this study for the first time, we investigated the feasibility of RL enabled automatic configuration of impedance parameter settings for a robotic knee to mimic the intact knee motion in a co-adapting environment. We successfully achieved such tracking control by an online policy iteration. We demonstrated our results in both OpenSim simulations and two able-bodied (AB) subjects.

研究の動機と目的

• 臨床現場におけるロボット性膝関節義体のインピーダンスパラメータの手動チューニングの課題に対処すること。
• 個々のユーザーおよび動的歩行状態に適応する、自動的かつデータ駆動型のインピーダンスパラメータ設定手法を開発すること。
• リアルタイムで測定された健常側膝関節の運動を模倣することが、生物学的に意味のある測定可能な義体制御の目標として機能するかどうかを検討すること。
• RLに基づく制御下で、義体と健常側下肢が歩行中にどのように相互に適応するかを調査すること。
• オンラインRLポリシー反復が、実際の人間被験およびシミュレーションにおいて、動的なターゲット（健常側下肢の軌道）を追跡するという点で、実現可能性と性能を評価すること。

提案手法

• ロボット性膝関節義体のインピーダンスパラメータを動的に調整する、強化学習（RL）に基づくオンラインポリシー反復アルゴリズムが用いられる。
• 義体のターゲット運動は、歩行中の健常側膝関節のリアルタイム軌道から直接得られ、仮想的制約として機能する。
• RLエージェントは、シミュレーテッド（OpenSim）および実際の人間環境との相互作用を通じて制御ポリシーを学習し、追跡誤差の最小化を最適化する。
• 健常側膝関節運動からの特徴抽出には、キーフェーズ遷移およびピーク/トロフ角度の特定が含まれ、ターゲット軌道の定義に用いられる。
• 制御システムは、膝関節角度およびタイミング（継続時間）のずれをペナルティとする報酬関数を用い、全歩行サイクルにわたる正確な追跡を保証する。
• 初期ポリシーは、別の被験者のトレーニングセッションから転送されて収束を加速したが、ランダム初期化でも初期段階の試行で成功した。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、歩行中の健常側膝関節の運動をリアルタイムで追跡するロボット性膝関節義体のインピーダンスパラメータを自動的にチューニング可能か？
• RQ2 義体が健常側膝関節の軌道を模倣するRL制御のもとで、健常側および義体下肢が歩行中にどのように相互に適応するか？
• RQ3 健常側膝関節の運動を模倣することは、シミュレーションおよび人間被験の両方で歩行の対称性を向上させ、追跡誤差を低減するか？
• RQ4 義体が健常側膝関節の運動を追跡する際、個々の被験者間で歩行適応パターンの違いは何か？
• RQ5 RLベースの制御システムは、事前定義されたまたは主観的なターゲットプロファイルに依存せずに、ステップ・バイ・ステップの誤差蓄積が生じてもシステムの不安定化を招かずに、全歩行サイクル（ステンスおよびスイングフェーズを含む）を正確に追跡できるか？

主な発見

• RLベースの制御システムは、OpenSimシミュレーションおよび人間被験の両方で追跡誤差を著しく低減し、義体が歩行サイクル全体にわたり健常側膝関節の運動を正確に模倣した。
• 被験者に顕著な共同適応が認められた：チューニング中、健常側膝関節の運動が変化し、AB1ではステンスフェーズで関節屈曲が増加し、AB2では減少した。これは被験者固有の戦略を示している。
• 健常側膝関節はスイングフェーズ中に完全に伸展しなかったが、これは肢長補正のための高さ調整（ハイシューズ）に起因し、踵打撃のメカニズムが変化した可能性がある。
• 人間被験では時間的非対称性が見られた（ハイシューズに起因する歩行変化の可能性あり）が、OpenSimシミュレーションでは歩行の対称性向上の大きな可能性が示された。
• システムは、継続時間誤差許容範囲3％で追跡を達成し、フェーズごとの誤差蓄積が生じてもシステムの不安定化を引き起こさなかった。
• 予備的結果では、RLによるモニタリング制御がより対称的な歩行パターンを支援する可能性があるが、空間的および負荷パラメータにおける対称性向上の確認には、さらなるアマチュア被験者を対象とした研究が必要である。