[論文レビュー] Deep Learning for Electromyographic Hand Gesture Signal Classification Using Transfer Learning

Ulysse Côté‐Allard, Cheikh Latyr Fall+6 more|arXiv (Cornell University)|Jan 10, 2018

Muscle activation and electromyography studies被引用数 6

ひとこと要約

本論文は、複数人の被験者からの統合EMGデータを事前学習に用いることで、表面的筋電図（sEMG）を用いた手の動き認識の性能を向上させるための転移学習フレームワークを提案する。この手法は、生のEMG、スペクトログラム、連続ウェーブレット変換（CWT）を入力として用い、17名の被験者では98.31%、NinaPro DB5データセットの10名の被験者では68.98%の精度を達成し、非転移学習ベースラインと比較して顕著な性能向上を示した。

ABSTRACT

In recent years, deep learning algorithms have become increasingly more prominent for their unparalleled ability to automatically learn discriminant features from large amounts of data. However, within the field of electromyography-based gesture recognition, deep learning algorithms are seldom employed as they require an unreasonable amount of effort from a single person, to generate tens of thousands of examples. This work's hypothesis is that general, informative features can be learned from the large amounts of data generated by aggregating the signals of multiple users, thus reducing the recording burden while enhancing gesture recognition. Consequently, this paper proposes applying transfer learning on aggregated data from multiple users, while leveraging the capacity of deep learning algorithms to learn discriminant features from large datasets. Two datasets comprised of 19 and 17 able-bodied participants respectively (the first one is employed for pre-training) were recorded for this work, using the Myo Armband. A third Myo Armband dataset was taken from the NinaPro database and is comprised of 10 able-bodied participants. Three different deep learning networks employing three different modalities as input (raw EMG, Spectrograms and Continuous Wavelet Transform (CWT)) are tested on the second and third dataset. The proposed transfer learning scheme is shown to systematically and significantly enhance the performance for all three networks on the two datasets, achieving an offline accuracy of 98.31% for 7 gestures over 17 participants for the CWT-based ConvNet and 68.98% for 18 gestures over 10 participants for the raw EMG-based ConvNet. Finally, a use-case study employing eight able-bodied participants suggests that real-time feedback allows users to adapt their muscle activation strategy which reduces the degradation in accuracy normally experienced over time.

研究の動機と目的

• sEMGベースの動き認識において、被験者1人あたりのデータ収集負荷を転移学習による他者間データの活用によって低減すること。
• sEMGアプリケーションで一般的な低データ環境において、深層学習モデルの汎化性能とロバスト性を向上させること。
• 転移学習フレームワーク内でのEMG信号表現（生信号、スペクトログラム、CWT）の違いが、動き分類性能に与える影響を評価すること。
• 新しく収集した36名の健常被験者からなるデータセットと、公に提供されているNinaPro DB5データセットの両方で、提案手法の有効性を検証すること。
• リアルタイムフィードバックが、長期的なオンライン分類性能に与える影響を調査すること。

提案手法

• 生のEMG、スペクトログラム、またはCWT表現を用いて、19名の健常被験者からの統合EMGデータを事前学習することで深層ConvNetを訓練する。
• 共有特徴学習アーキテクチャを用い、ソースとターゲットネットワークのブランチ間で要素ごとの和集合をとることで、ターゲット被験者のデータ上で事前学習モデルをファインチューニングする。
• 三重のネットワークアーキテクチャを採用し、ソースネットワークは複数人分のデータで学習され、ターゲットネットワークは転移学習により1人の被験者に適応される。
• 訓練の安定性と特徴学習の向上を図るため、バッチ正則化とReLU活性化関数を用いた残差ネットワーク（ResNet）アーキテクチャを採用する。
• ドメイン適応技術を適用し、ターゲットネットワークを事前学習済みソース重みで初期化し、限られたターゲットデータ上でファインチューニングする。
• アルゴリズムの確率的変動を考慮するため20回の独立実験を実施し、ウィルコクソン符号順位検定を用いて統計的有意性を保証する。

実験結果

リサーチクエスチョン

• RQ1 被験者1人あたりのトレーニングデータが限られる状況において、転移学習が深層学習モデルの性能を顕著に向上させることができるか？
• RQ2 転移学習と組み合わせた場合、EMG信号表現（生信号、スペクトログラム、CWT）のうち、どの表現が動き分類性能において最良の結果をもたらすか？
• RQ3 提案された転移学習スキームは、事前学習データセットに含まれない未確認の動きや新しい被験者に対しても汎化可能か？
• RQ4 リアルタイムフィードバックは、転移学習ベースのsEMG分類器の長期的なオンライン性能にどのように影響を与えるか？
• RQ5 提案手法は、実世界の展開において、大幅な再キャリブレーションを必要とせず、時間経過に伴っても性能が安定するよう改善できるか？

主な発見

• 転移学習を組み込んだConvNetは、CWT入力を用いて17名の健常被験者（7種類の手の動き）に対して平均98.31%のオフライン精度を達成し、非拡張モデルと比較して顕著に優れた性能を示した。
• NinaPro DB5データセット（18種類の動き、10名の被験者）において、生EMGベースのConvNetは転移学習後、68.98%の精度を達成し、サンプル外の動きへの汎化能力を示した。
• ウィルコクソン符号順位検定により、20回のトレーニング繰り返しすべてにおいて、転移学習による性能向上が統計的に有意（p < 0.05）であることが確認された。
• ユースケーススタディにおけるリアルタイムフィードバックは、14日間の期間にわたり性能の低下を軽減した。これは、被験者の適応能力向上と分類器の信頼性維持に寄与したと考えられる。
• モデルの性能はオフライン時98.31%からオンライン時95.42%に低下したが、これは記録されていない動きの遷移と被験者の反応遅延に起因する。
• 提案手法は被験者や動きの面で汎化可能であり、複数人分のデータから学習された特徴は、新しい被験者や未確認の動きに対しても十分に一般化可能であることが示された。