[論文レビュー] sEMG-based Hand Gesture Recognition with Deep Learning

Marcello Zanghieri|arXiv (Cornell University)|Jun 19, 2023

Muscle activation and electromyography studies被引用数 4

ひとこと要約

この修士論文は、表面EMG信号からのハンドジェスチャー分類に1D-CNNを用いた、Unibo-INAIL sEMGデータセットへの深層学習の最初の応用を提示している。81.2%のポストゥア・アキュラシーと75.9%の日次アキュラシーを達成したが、RBF-SVMベースラインと同等の性能であった。しかし、マルチポストゥアおよび最近のデータに重点を置いたトレーニング戦略が一般化性能を顕著に向上させることを示しており、ユーザー適応性の向上と1D-CNNが将来的なHMI研究における有望な候補であることを示している。

ABSTRACT

Hand gesture recognition based on surface electromyographic (sEMG) signals is a promising approach for developing Human-Machine Interfaces (HMIs) with a natural control, such as intuitive robot interfaces or poly-articulated prostheses. However, real-world applications are limited by reliability problems due to motion artefacts, postural and temporal variability, and sensor re-positioning. This master thesis is the first application of deep learning on the Unibo-INAIL dataset, the first public sEMG dataset exploring the variability between subjects, sessions and arm postures by collecting data over 8 sessions of each of 7 able-bodied subjects executing 6 hand gestures in 4 arm postures. Recent studies address variability with strategies based on training set composition, which improve inter-posture and inter-day generalization of non-deep machine learning classifiers, among which the RBF-kernel SVM yields the highest accuracy. The deep architecture realized in this work is a 1d-CNN inspired by a 2d-CNN reported to perform well on other public benchmark databases. On this 1d-CNN, various training strategies based on training set composition were implemented and tested. Multi-session training proves to yield higher inter-session validation accuracies than single-session training. Two-posture training proves the best postural training (proving the benefit of training on more than one posture) and yields 81.2% inter-posture test accuracy. Five-day training proves the best multi-day training, yielding 75.9% inter-day test accuracy. All results are close to the baseline. Moreover, the results of multi-day training highlight the phenomenon of user adaptation, indicating that training should also prioritize recent data. Though not better than the baseline, the achieved classification accuracies rightfully place the 1d-CNN among the candidates for further research.

研究の動機と目的

• Unibo-INAIL sEMGデータセット（被験者間、セッション間、ポストゥア間のばらつきを捉えた最初の公開データセット）において、深層学習、特に1D-CNNの性能を評価すること。
• 運動アーチファクト、ポストゥアのばらつき、センサー再配置といった、sEMGベースのヒューマンマシンインターフェース（HMI）における信頼性の問題に対処すること。
• トレーニングセットの構成戦略（例：マルチポストゥア、マルチデイトレーニング）が、古典的機械学習ベースラインと比較して、深層学習モデルの一般化性能を向上させるかどうかを調査すること。
• 1D-CNNが、この困難な現実世界のsEMGデータに対して、最新の古典的モデル（例：RBFカーネルSVM）を上回るか、同等の性能を発揮できるかどうかを特定すること。

提案手法

• PyTorchで実装された1D-CNNアーキテクチャを採用。他の公開ベンチマークで良好な性能を示した2D-CNNを参考にした。
• データ前処理には、sEMG信号の時間ウィンドウ処理と、トレーニング・バリデーション・テストの3分割処理を実施。
• トレーニング戦略は、トレーニングセットの構成に基づく：単一セッション、2ポストゥア、マルチデイ（5日間）トレーニング。
• 最適化には確率的勾配降下法（ミニバッチ版）を採用。損失関数は交差エントロピー、正則化にはL2正則化、バッチ正則化、ReLU活性化関数、ドロップアウトを用い、正則化を強化。
• セッション間および日次一般化性能の評価には、D6–D8のホールドアウトテストセットを用い、平均アキュラシーと標準誤差で測定。
• ユーザー適応性の分析には、マルチデイトレーニングの結果を比較し、時間経過に伴い日次差が減少することを確認。

実験結果

リサーチクエスチョン

• RQ1 Unibo-INAIL sEMGデータセット（被験者間・セッション間・ポストゥア間の高いばらつきを含む）において、1D-CNNが競争力のある性能を発揮できるか？
• RQ2 2ポストゥアトレーニングは、単一ポストゥアまたは単一セッショントレーニングと比較して、ポストゥア一般化性能を向上させるか？
• RQ3 特に最近のデータに重点を置いたマルチデイトレーニングは、日次一般化性能を向上させ、時間経過に伴うユーザー適応を反映するか？
• RQ4 1D-CNNの性能は、このデータセットで現在の最先端とされるRBFカーネルSVMベースラインと比較してどうか？
• RQ5 1D-CNNとベースラインとの間で観察された性能差は、前処理の制限やUnibo-INAILデータセット固有のデータ制約に起因しているのか？

主な発見

• マルチセッショントレーニングは、単一セッショントレーニングよりも高いセッション間バリデーションアキュラシーを達成し、セッション間一般化性能の向上を示した。
• 2ポストゥアトレーニングがポストゥア一般化において最適であった。81.2%のポストゥアテストアキュラシー（標準偏差7.3%）を達成。
• 5日間のマルチデイトレーニングが、時間的一般化性能の最良戦略であった。75.9%の日次テストアキュラシー（標準偏差8.6%）を達成。
• RBF-SVMベースラインと同等の性能を示した。バリデーションアキュラシーはポストゥアで83%、日次で77%であり、1D-CNNがベースラインを上回らなくても競争力があることが示された。
• マルチデイトレーニングの結果から、ユーザー適応が確認された。時間経過に伴い、日次差が減少し、特に最近のデータをトレーニングに優先的に組み込むべきであることが示された。
• 1D-CNNは古典的モデルと同等の性能を発揮した。特に時間周波数解析を用いた2D-CNNへの応用を念頭に、今後の研究において強力な候補であることが示された。