[論文レビュー] A Data-Driven Reinforcement Learning Solution Framework for Optimal and Adaptive Personalization of a Hip Exoskeleton

Xikai Tu, Minhan Li+4 more|arXiv (Cornell University)|Nov 11, 2020

Prosthetics and Rehabilitation Robotics参考文献 40被引用数 6

ひとこと要約

本論文は、人間-ロボットダイナミクスのモデル化を必要とせず、2つのタイミングパラメータ（ピークとオフセット）を最適化することで、ハンドルエクソスケルトンのトルク支援を自動で個人化するデータ駆動型強化学習フレームワークを提案する。最小二乗方策反復法と、移動仕事比に基づくコスト関数を用いて、健常被験者における片側股関節伸展歩行において、大腿伸筋の活性化を28％低減した。実時間での適応的で最適な個人化が実証された。

ABSTRACT

Robotic exoskeletons are exciting technologies for augmenting human mobility. However, designing such a device for seamless integration with the human user and to assist human movement still is a major challenge. This paper aims at developing a novel data-driven solution framework based on reinforcement learning (RL), without first modeling the human-robot dynamics, to provide optimal and adaptive personalized torque assistance for reducing human efforts during walking. Our automatic personalization solution framework includes the assistive torque profile with two control timing parameters (peak and offset timings), the least square policy iteration (LSPI) for learning the parameter tuning policy, and a cost function based on transferred work ratio. The proposed controller was successfully validated on a healthy human subject to assist unilateral hip extension in walking. The results showed that the optimal and adaptive RL controller as a new approach was feasible for tuning assistive torque profile of the hip exoskeleton that coordinated with human actions and reduced activation level of hip extensor muscle in human.

研究の動機と目的

• エクソスケルトンにおける人間-ロボット統合のシームレス化に挑むために、自動的かつ個人化されたトルク支援を可能にすること。
• 制御設計における人間-ロボットダイナミクスの明示的モデル化の必要性を排除すること。
• 歩行中の最小限の人体的負荷を実現するため、強化学習を用いて支援トルクプロファイルを最適化すること。
• 個々のユーザーのダイナミクスと歩行パターンに適応するリアルタイムのフレームワークを開発すること。
• 健常被験者を対象に、片側股関節伸展支援のシステムを検証すること。

提案手法

• 2つのタイミングパラメータ（ピークタイミングとオフセットタイミング）を有するパラメータ化された支援トルクプロファイルをフレームワークが使用する。
• これらのパラメータのチューニングのための最適な方策を学習するために、最小二乗方策反復（LSPI）が採用される。
• 学習の評価と誘導に、移動仕事比に基づくコスト関数が使用される。
• RLエージェントは、事前の力学的モデルが不要な状態で、人間-ロボット相互作用データから直接学習する。
• リアルタイムのフィードバックを受ける人間被験者とのクローズドループシステムで、コントローラーが訓練および検証される。
• フレームワークは、ユーザー固有の歩行サイクルに合わせてトルクタイミングを継続的に調整することで、適応的個人化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間-ロボットダイナミクスのモデル化を伴わずに、データ駆動型強化学習アプローチが股関節エクソスケルトンのトルク支援を効果的に個人化できるか？
• RQ2 RLフレームワークは、個々のユーザーの歩行パターンにどの程度適応し、筋肉の活性化を最小限に抑えることができるか？
• RQ3 歩行中の大腿伸筋の努力を低減するためのピークタイミングとオフセットタイミングの最適な設定は何か？
• RQ4 繰り返しの歩行試行において、システムは一貫した性能向上を達成できるか？
• RQ5 移動仕事比に基づくコスト関数は、RL方策の収束性と有効性にどのように影響するか？

主な発見

• RLベースのコントローラーは、支援なしの歩行と比較して、大腿伸筋の活性化レベルを28％低減した。
• ピークタイミングとオフセットタイミングパラメータのリアルタイムチューニングを通じて、最適かつ適応的個人化が達成された。
• データ駆動型アプローチにより、人間-ロボットダイナミクスの明示的モデル化の必要性が排除され、コントローラー設計が簡素化された。
• 最小二乗方策反復（LSPI）アルゴリズムにより、相互作用データからの安定的かつ効率的な方策学習が可能になった。
• 健常被験者を用いた実際の人間-ロボット相互作用環境において、フレームワークの実現可能性と有効性が示された。
• 移動仕事比に基づくコスト関数は、人体的負荷の最小化に向けてRLエージェントを効果的に誘導した。