[論文レビュー] Deep Learning for Electromyographic Hand Gesture Signal Classification by Leveraging Transfer Learning

Ulysse Côté‐Allard, Cheikh Latyr Fall+6 more|arXiv (Cornell University)|Jan 10, 2018

Muscle activation and electromyography studies参考文献 67被引用数 25

ひとこと要約

本論文は、複数人の被験者からの統合されたEMGデータを用いて深層ニューラルネットワークを事前学習し、個々の被験者に対して微調整することで、電気筋電図（EMG）によるハンドジェスチャー分類を向上させる転移学習手法を提案する。CWTベースのConvNetを用いた7ジェスチャー分類では98.31%の精度を達成し、生EMGベースのConvNetを用いた18ジェスチャー分類では68.98%の精度を示した。これにより、データ収集の負担が著しく軽減されるとともに、性能向上が実現された。

ABSTRACT

In recent years, deep learning algorithms have become increasingly more prominent for their unparalleled ability to automatically learn discriminant features from large amounts of data. However, within the field of electromyography-based gesture recognition, deep learning algorithms are seldom employed as they require an unreasonable amount of effort from a single person, to generate tens of thousands of examples. This work's hypothesis is that general, informative features can be learned from the large amounts of data generated by aggregating the signals of multiple users, thus reducing the recording burden while enhancing gesture recognition. Consequently, this paper proposes applying transfer learning on aggregated data from multiple users, while leveraging the capacity of deep learning algorithms to learn discriminant features from large datasets. Two datasets comprised of 19 and 17 able-bodied participants respectively (the first one is employed for pre-training) were recorded for this work, using the Myo Armband. A third Myo Armband dataset was taken from the NinaPro database and is comprised of 10 able-bodied participants. Three different deep learning networks employing three different modalities as input (raw EMG, Spectrograms and Continuous Wavelet Transform (CWT)) are tested on the second and third dataset. The proposed transfer learning scheme is shown to systematically and significantly enhance the performance for all three networks on the two datasets, achieving an offline accuracy of 98.31% for 7 gestures over 17 participants for the CWT-based ConvNet and 68.98% for 18 gestures over 10 participants for the raw EMG-based ConvNet. Finally, a use-case study employing eight able-bodied participants suggests that real-time feedback allows users to adapt their muscle activation strategy which reduces the degradation in accuracy normally experienced over time.

研究の動機と目的

• 複数人の被験者間で共有される特徴を活用することで、EMGベースのジェスチャー認識のためのデータ収集負担を軽減すること。
• 統合された多ユーザーEMGデータに対する転移学習が、個々の被験者の分類性能を向上させるかどうかを調査すること。
• 深層学習フレームワーク内での異なる入力モダリティ（生EMG、スペクトログラム、CWT）の有効性を評価すること。
• ユーザーの適応に伴う時間経過に伴う分類精度の低下を緩和するため、リアルタイムフィードバックの影響を評価すること。
• 大規模なマルチユーザーデータセットでの事前学習により、最小限の個別データ収集で高精度なジェスチャー認識が可能になることを実証すること。

提案手法

• 19名の健常被験者から得られた大規模なデータセットを用いて、Myoアームバンドを用いて一般的なEMG特徴を学習する深層学習モデルの事前学習。
• 17名の被験者からなるデータセットと、10名の被験者からなるNinaProデータベースの2つの別々のデータセットを用いて、事前学習済みモデルの微調整。
• 生EMG、スペクトログラム、および連続ウェーブレット変換（CWT）の3つの入力モダリティを用い、特徴表現の有効性を評価。
• 各モダリティに対してエンドツーエンドで訓練される3種類の異なる深層学習アーキテクチャ（ConvNets）を用い、ハンドジェスチャーを分類。
• 複数ユーザーの統合データセットから学習した特徴でモデルを初期化し、個々のユーザーに適応させる転移学習の適用。
• 8名の健常被験者を対象としたリアルタイムフィードバックの活用事例研究を実施し、長期的な精度安定性を評価。

実験結果

リサーチクエスチョン

• RQ1 複数人分のEMGデータに対する転移学習は、個々の被験者のジェスチャー分類精度を顕著に向上させることができるか？
• RQ2 生EMG、スペクトログラム、CWTの異なる入力表現は、EMGベースのジェスチャー認識における深層学習モデルの性能にどのように影響を与えるか？
• RQ3 ジェスチャー学習中にリアルタイムフィードバックを提供することで、時間経過に伴う分類精度の低下が緩和されるか？
• RQ4 大規模なマルチユーザーデータでの事前学習により、個別データ収集の必要性はどの程度軽減できるか？
• RQ5 転移学習による性能向上は、ジェスチャー数や被験者グループの違いに関わらず一貫しているか？

主な発見

• CWTベースのConvNetを用いた転移学習手法により、17名の被験者を対象に7種類のハンドジェスチャーを分類する際、オフライン精度で98.31%のピーク精度を達成した。
• 18種類のジェスチャーに対しては、生EMGベースのConvNetが10名の被験者からなるデータセットで68.98%の精度を示し、複雑なジェスチャー集合における転移学習の有効性を示した。
• 3つの深層学習ネットワークすべてが、訓練を初期化から行う場合と比較して、体系的かつ顕著な性能向上を示した。
• 事例研究の結果、リアルタイムフィードバックによりユーザーが筋活動戦略を適応させることができ、時間経過に伴う精度の低下が軽減された。
• 分類精度の観点から、CWTベースのモダリティが生EMGおよびスペクトログラムを上回り、特徴抽出のための適性が顕著に高いことが示された。
• 複数ユーザーの統合データからの事前学習により、個々の被験者におけるデータ収集負担が顕著に軽減され、大規模なEMGジェスチャー認識がより現実的に行えるようになった。