[論文レビュー] TEMGNet: Deep Transformer-based Decoding of Upperlimb sEMG for Hand Gestures Recognition

Elahe Rahimian, Soheil Zabihi+4 more|arXiv (Cornell University)|Sep 25, 2021

Muscle activation and electromyography studies参考文献 28被引用数 19

ひとこと要約

本稿では、表面筋電図（sEMG）信号からの上肢の手の動き認識において、最先端の正確性を達成するVision Transformerベースの深層学習モデル、TEMGNetを提案する。わずか65,713の可学習パラメータ（先行モデルの7倍少ない）で、300msのウィンドウでNinaPro DB2データセットで82.93%の正確性を達成しており、事前学習や微調整を必要とせず、構造的複雑性が著しく低減されている。

ABSTRACT

There has been a surge of recent interest in Machine Learning (ML), particularly Deep Neural Network (DNN)-based models, to decode muscle activities from surface Electromyography (sEMG) signals for myoelectric control of neurorobotic systems. DNN-based models, however, require large training sets and, typically, have high structural complexity, i.e., they depend on a large number of trainable parameters. To address these issues, we developed a framework based on the Transformer architecture for processing sEMG signals. We propose a novel Vision Transformer (ViT)-based neural network architecture (referred to as the TEMGNet) to classify and recognize upperlimb hand gestures from sEMG to be used for myocontrol of prostheses. The proposed TEMGNet architecture is trained with a small dataset without the need for pre-training or fine-tuning. To evaluate the efficacy, following the-recent literature, the second subset (exercise B) of the NinaPro DB2 dataset was utilized, where the proposed TEMGNet framework achieved a recognition accuracy of 82.93% and 82.05% for window sizes of 300ms and 200ms, respectively, outperforming its state-of-the-art counterparts. Moreover, the proposed TEMGNet framework is superior in terms of structural capacity while having seven times fewer trainable parameters. These characteristics and the high performance make DNN-based models promising approaches for myoelectric control of neurorobots.

研究の動機と目的

• sEMGに基づく筋電制御のための既存のDNNモデルの高いパラメータ数とデータ依存性を解決すること。
• 注意メカニズムを活用してsEMG信号内の長距離時間的依存関係を捉えることで、動き認識の正確性を向上させること。
• Transformerの並列処理可能な自己注意メカニズムを活用することで、モデルの複雑性と学習コストを低減すること。
• 事前学習や微調整なしに、小規模なsEMGデータセットに対してもTransformerが効果的に学習可能であることを示すこと。
• リアルタイムの人工肢制御アプリケーションに適したコンactで高性能なモデルを開発すること。

提案手法

• 提案されたTEMGNetアーキテクチャは、Vision Transformer（ViT）フレームワークに基づくもので、sEMG信号を画像に類似したパッチとして入力処理する。
• 各sEMG信号ウィンドウは、重複のない12×12のパッチに分割され、パッチ埋め込みに学習可能なクラス埋め込みと位置埋め込みが追加される。
• モデルは、sEMGデータ内の時間的および空間的特徴の間で長距離依存関係を捉えるために、マルチヘッド自己注意メカニズムを用いる。
• 位置埋め込みは学習中に学習され、パッチの順序を符号化することで、モデルが時間的構造を理解できるようにする。
• モデルは、NinaPro DB2データセット上で、事前学習や微調整なしに、分類のための交差エントロピー損失を用いてエンドツーエンドで学習される。
• ハイパーパramータのアブレーションスタディとして、モデルの深さ（層数）、モデル次元（d）、パッチサイズを最適化するために評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 Vision Transformerベースのアーキテクチャは、最小限の可学習パラメータでsEMGに基づく手の動き認識において高い正確性を達成できるか？
• RQ2 Transformerの自己注意メカニズムは、RNNやCNNに比べてsEMG信号からの時間的および空間的特徴をより効果的に捉えられるか？
• RQ3 小規模なsEMGデータセットに対して、事前学習や微調整なしにTransformerモデルを効果的に学習できるか？
• RQ4 モデルの深さと次元は、sEMG分類における認識正確性とパラメータ効率にどのように影響するか？
• RQ5 学習された位置埋め込みは、sEMG信号内の順序関係をどの程度正しく符号化しているか？

主な発見

• TEMGNetは、300msウィンドウでNinaPro DB2データセット上で82.93%の認識正確性を達成し、最先端のモデルを上回った。
• 200msウィンドウでは82.05%の正確性を達成し、先行研究で報告された79.0%を上回った。
• 65,713の可学習パラメータを有するモデルは、最もパフォーマンスの優れたベースライン（466,944パラメータ）と比較して、構造的複雑性を7倍低減した。
• 2層を超えてモデルの深さを増やしても正確性に向上が見られず、ある深さを超えると利得が減少することが示された。
• ウィルコクソン符号順位検定により、モデル1とモデル4の性能差は統計的に有意であった（p ≤ 1.00e-4）。
• 位置埋め込みの可視化により、モデルが順序関係を学習していることが確認され、隣接するパッチ同士の位置埋め込みベクトルの類似度が高かった。