[論文レビュー] A Robust and Accurate Deep Learning based Pattern Recognition Framework for Upper Limb Prosthesis using sEMG

Sidharth Pancholi, Amit M. Joshi+1 more|arXiv (Cornell University)|Jun 4, 2021

Muscle activation and electromyography studies参考文献 27被引用数 11

ひとこと要約

本論文は、従来の手作業による特徴抽出を回避するため、表面筋電図（sEMG）信号から上肢運動を分類する、ロバストで高速かつ高精度なディープラーニングフレームワークを提案する。生のsEMG信号をスペクトログラム画像に変換し、最適化された前処理（MZPおよびMPP）を施したCNNアーキテクチャを適用することで、5つのベンチマークデータセットにおいて、被截断者および健常者を対象に、最高で99.11%の分類精度を達成した。これは、精度および学習効率の面で、従来の最先端手法を顕著に上回っている。

ABSTRACT

In EMG based pattern recognition (EMG-PR), deep learning-based techniques have become more prominent for their self-regulating capability to extract discriminant features from large data-sets. Moreover, the performance of traditional machine learning-based methods show limitation to categorize over a certain number of classes and degrades over a period of time. In this paper, an accurate, robust, and fast convolutional neural network-based framework for EMG pattern identification is presented. To assess the performance of the proposed system, five publicly available and benchmark data-sets of upper limb activities were used. This data-set contains 49 to 52 upper limb motions (NinaPro DB1, NinaPro DB2, and NinaPro DB3), Data with force variation, and data with arm position variation for intact and amputated subjects. The classification accuracies of 91.11% (53 classes), 89.45% (49 classes), 81.67% (49 classes of amputees), 95.67% (6 classes with force variation), and 99.11% (8 classes with arm position variation) have been observed during the testing and validation. The performance of the proposed system is compared with the state of art techniques in the literature. The findings demonstrate that classification accuracy and time complexity have improved significantly. Keras, TensorFlow's high-level API for constructing deep learning models, was used for signal pre-processing and deep-learning-based algorithms. The suggested method was run on an Intel 3.5GHz Core i7, 7th Gen CPU with 8GB DDR4 RAM.

研究の動機と目的

• 従来の機械学習手法が有する制限を克服し、複雑な上肢運動を分類するためのディープラーニングベースのEMGパターン認識（DLPR）フレームワークを開発すること。
• 従来のディープラーニングおよび手作業特徴ベースの手法と比較して、分類精度を向上させるとともに、学習時間を短縮すること。
• 力の変動、腕の位置の変動、被截断者からのデータを含む多様なデータセットにおいて、システムのロバスト性を評価すること。
• 最適化された前処理により、学習時間を短縮し、モデル効率を向上させることで、リアルタイム導入を可能にすること。

提案手法

• 生のsEMG信号は、MZP（平均ゼロ位相）およびMPP（最大パワー・ポイント）という2つの新規パラメータを用いて前処理され、データサイズを縮小しながら神経情報の保持を図る。
• 前処理済み信号は、短時間フーリエ変換（STFT）を用いてスペクトログラム画像に変換され、時間周波数特性が表現される。
• ディープコンボリューショナルニューラルネットワーク（CNN）は、スペクトログラム画像上でエンドツーエンドに学習され、特徴の自動抽出が可能となり、手作業による特徴工学の必要がなくなる。
• モデルはKerasを用い、TensorFlowバックエンドで実装され、標準的なハードウェア（Intel i7、8GB RAM）でも効率的な学習とデプロイメントが可能である。
• フレームワークは、NinaPro DB1、DB2、DB3（被截断者データを含む）、および力の変動と腕の位置の変動を含む2つのカスタムデータセットを含む5つのベンチマークデータセットで評価された。
• 学習は50エポックで実施され、収束とパフォーマンス最適化のための早期停止およびハイパーパramータチューニングが行われた。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのCNNフレームワークは、従来の機械学習および手作業特徴ベースの手法と比較して、sEMGを用いた上肢運動認識において、より高い分類精度を達成できるか？
• RQ2 提案された前処理（MZPおよびMPP）は、CNNモデルのパフォーマンスおよび学習効率にどのように影響するか？
• RQ3 モデルは、力の変動、腕の位置の変動、被截断者を含む多様なデータセットに対して、どの程度一般化できるか？
• RQ4 従来のディープラーニングモデルと比較して、提案フレームワークは、分類精度を維持または向上させつつ、著しく学習時間を短縮できるか？

主な発見

• 提案フレームワークは、NinaPro DB1の53クラスにおいて91.11%の分類精度を達成し、従来の最先端手法を上回った。
• NinaPro DB2（49クラス）では、89.45%の精度を達成し、健常者に対する強力なパフォーマンスを示した。
• NinaPro DB3の被截断者データでは、81.67%の精度を達成し、DASHスコアや肢の状態の個人差がある中でも、ロバスト性を示した。
• 力の変動がある条件下では、95.67%の精度に達し、動的制御条件への強い適応性を示した。
• 腕の位置の変動がある条件下では、最高の99.11%の精度を記録し、微細な運動変化の区別能力を強調した。
• 学習時間が最小限に抑えられ、最大のデータセットでは約523秒（9分未満）で学習が完了し、計算オーバーヘッドが顕著に低減された。