[論文レビュー] Sensor Fusion for Predictive Control of Human-Prosthesis-Environment Dynamics in Assistive Walking: A Survey

Kuangen Zhang, Clarence W. de Silva+1 more|arXiv (Cornell University)|Mar 18, 2019

Prosthetics and Rehabilitation Robotics参考文献 59被引用数 22

ひとこと要約

本サーベイは、支援的歩行における人間-義足-環境ダイナミクスの予測制御のためのセンサフュージョンフレームワークを提案する。マルチモーダルセンサ（IMU、EMG、ビジョン）を統合することで、意図認識と環境認識を向上させる。オンライン学習を用いた定常的およびディープ特徴の統合により、複雑な環境下でも頑健で適応的な制御が可能となる、動力下肢義足のための制御を実現する。

ABSTRACT

This survey paper concerns Sensor Fusion for Predictive Control of Human-Prosthesis-Environment Dynamics in Assistive Walking. The powered lower limb prosthesis can imitate the human limb motion and help amputees to recover the walking ability, but it is still a challenge for amputees to walk in complex environments with the powered prosthesis. Previous researchers mainly focused on the interaction between a human and the prosthesis without considering the environmental information, which can provide an environmental context for human-prosthesis interaction. Therefore, in this review, recent sensor fusion methods for the predictive control of human-prosthesis-environment dynamics in assistive walking are critically surveyed. In that backdrop, several pertinent research issues that need further investigation are presented. In particular, general controllers, comparison of sensors, and complete procedures of sensor fusion methods that are applicable in assistive walking are introduced. Also, possible sensor fusion research for human-prosthesis-environment dynamics is presented.

研究の動機と目的

• 既存の義足制御が環境的文脈を無視するという限界を是正するため、人間-義足-環境ダイナミクスを統合する。
• EMGやEMGなどのユーザー依存的かつ非定常的センサ信号（例：EMG、EMG）を克服するため、頑健なセンサフュージョンを用いて信頼性の高い意図予測を実現する。
• 環境認識と人間の運動意図認識を統合することで、断絶したビジョン-歩行ループを再構築し、予測的歩行制御を可能にする。
• オンラインデータセットの更新と適応的トレーニングを通じて、ハイレベル義足制御の長期的性能を向上させる。
• 分類と回帰の統合を進化させることで、関節トルク推定と制御の頑健性を向上させる。

提案手法

• ハイレベル、ミドルレベル、ローレベルの制御器を有する階層的制御アーキテクチャを採用し、ハイレベル制御器におけるセンサフュージョンに焦点を当てる。
• IMU（運動学的データ）、EMG（神経筋的意図）、ビジョン（環境的文脈）といった複数のセンサを統合技術を用いて統合する。
• 運動学的モデルや筋肉・腱ダイナミクスに基づく定常的特徴を信号から抽出することで、ユーザー間およびセッション間での一般化性を向上させる。
• 深層ニューラルネットワークを用いて、生のセンサデータから自動的にディープ特徴を学習するが、リアルタイム適用を考慮し、複雑さに制限を設ける。
• 遅延付きのIMUベースの活動認識を用いて、オンラインでデータセットを更新し、非定常的信号（例：EMG）のための継続的再トレーニングを実装する。
• センサフュージョンを通じて、運動プリミティブの分類と関節トルクの回帰出力を統合し、制御の正確性と滑らかさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 個々のセンサがノイズとユーザー依存性によって制限を受ける中で、センサフュージョンは動力下肢義足における歩行意図予測をどのように改善できるか？
• RQ2 複雑な歩行環境において、環境的文脈は義足制御の正確性と頑健性をどのように向上させるか？
• RQ3 非定常的ウェアラブル信号（例：EMG、MMG）から定常的特徴またはディープ特徴を抽出するにはどうすればよいか？これにより、ユーザー間および時間経過にわたる一般化性がどのように向上するか？
• RQ4 オンラインデータセットの更新と再トレーニングは、義足制御における意図認識モデルの長期的性能にどのような影響を与えるか？
• RQ5 運動プリミティブの分類と関節トルクの回帰を、センサフュージョンを通じてどのように共同最適化し、より良い制御結果を得られるか？

主な発見

• IMU、EMG、ビジョンデータのセンサフュージョンは、単一センサ手法と比較して、人間の運動意図認識の頑健性と正確性を顕著に向上させる。
• 運動学的および筋肉-腱ダイナミクスモデルから導出された定常的特徴は、異なるユーザーおよびセッション間でのハイレベル制御の一般化性を向上させる。
• 遅延付きIMUベースの活動認識を用いたオンラインデータセットの更新により、非定常的信号（例：EMG）のための継続的再トレーニングが可能となり、高い正確性を維持できる。
• センサフュージョンを通じて運動プリミティブの分類と関節トルクの回帰を統合することで、直接比例制御よりもより安定的かつ予測可能な制御が実現される。
• 深層ニューラルネットワークは、生のセンサデータから特徴を効果的に学習できるが、義足システムにおけるリアルタイム適用を考慮すると、アーキテクチャ的制限が必要となる。
• 環境認識と人間の意図認識の統合により、ビジョン-歩行ループが再構築され、複雑な環境下での適応的ナビゲーションが可能になる。