[論文レビュー] ViT-HGR: Vision Transformer-based Hand Gesture Recognition from High Density Surface EMG Signals

Mansooreh Montazerin, Soheil Zabihi+3 more|arXiv (Cornell University)|Jan 25, 2022

Muscle activation and electromyography studies被引用数 4

ひとこと要約

本稿では、高密度表面筋電図（HD-sEMG）に基づく手の動き認識のための、Vision Transformer（ViT）をベースとしたフレームワーク、ViT-HGRを提案する。HD-sEMG信号をViTアーキテクチャと互換性のあるパッチベースの入力形式に変換する。データ拡張や転移学習を用いずに、スクラッチから学習を実行した結果、65種類の動き認識で平均84.62%のテスト精度を達成し、パラメータ数は78,210個にとどまる。LDAよりも精度と学習効率の両面で優れている。

ABSTRACT

Recently, there has been a surge of significant interest on application of Deep Learning (DL) models to autonomously perform hand gesture recognition using surface Electromyogram (sEMG) signals. DL models are, however, mainly designed to be applied on sparse sEMG signals. Furthermore, due to their complex structure, typically, we are faced with memory constraints; require large training times and a large number of training samples, and; there is the need to resort to data augmentation and/or transfer learning. In this paper, for the first time (to the best of our knowledge), we investigate and design a Vision Transformer (ViT) based architecture to perform hand gesture recognition from High Density (HD-sEMG) signals. Intuitively speaking, we capitalize on the recent breakthrough role of the transformer architecture in tackling different complex problems together with its potential for employing more input parallelization via its attention mechanism. The proposed Vision Transformer-based Hand Gesture Recognition (ViT-HGR) framework can overcome the aforementioned training time problems and can accurately classify a large number of hand gestures from scratch without any need for data augmentation and/or transfer learning. The efficiency of the proposed ViT-HGR framework is evaluated using a recently-released HD-sEMG dataset consisting of 65 isometric hand gestures. Our experiments with 64-sample (31.25 ms) window size yield average test accuracy of 84.62 +/- 3.07%, where only 78, 210 number of parameters is utilized. The compact structure of the proposed ViT-based ViT-HGR framework (i.e., having significantly reduced number of trainable parameters) shows great potentials for its practical application for prosthetic control.

研究の動機と目的

• 従来の深層学習（DL）モデルが高密度sEMG信号を処理する際の限界、特にメモリ制約や長時間の学習時間を解消すること。
• Vision Transformer（ViT）が、複雑で多チャンネルのHD-sEMG信号を手の動き認識に分類するために、実用的かつ効果的であるかを検証すること。
• 広範な特徴工学やデータ拡張を必要とせず、生のHD-sEMGデータに直接対応できる、コンactでエンドツーエンドの深層学習フレームワークを構築すること。
• 19名の被験者を対象に65種類の等尺性動きを含む大規模なHD-sEMGデータセット上で、ViT-HGRの性能を精度、パrameter効率、学習速度の観点から評価すること。

提案手法

• HD-sEMG信号は64サンプル（31.25 ms）のウィンドウに分割され、Vision Transformerの入力に適したパッチベースの形式に変換される。
• 提案されたViT-HGRフレームワークは、学習可能なクラストークンと位置埋め込みを備えた標準的なVision Transformerアーキテクチャを採用し、HD-sEMG信号の空間的・時間的構造に適合させた。
• 自己注意機構を活用して電極間および時間的長距離依存性をモデル化する。データ拡張や転移学習を一切使用せず、交差エントロピー損失を用いてエンドツーエンドでスクラッチから学習される。
• モデルの複雑さと性能のトレードオフを調査するため、深さと幅が異なる3つのバリエーションのViT-HGRモデルを評価する。
• 被験者ごとに5分割交差検証を実施し、19名の被験者全体にわたる堅牢な評価を確保する。
• 公平なベンチマークのため、同じ5つの主要なsEMG特徴（MAV、ZC、WL、RMS、SSC）とAR係数を用いた標準的なLDA分類器と比較する。

Figure 1: A graphical representation of the Vision Transformer: (a) A cropped portion of the original signal is fed to the ViT and converted to small patches. These patches go through a patch + position embedding layer and a class token is prepended to them. They are then inputted to the transformer

実験結果

リサーチクエスチョン

• RQ1 データ拡張や転移学習を一切必要としない状態で、Vision Transformerが高密度表面筋電図信号に効果的に適応可能であるか？
• RQ2 ViTベースのモデルは、HD-sEMGデータにおいて、LDAのような従来の機械学習手法と比較して、精度と学習効率の両面で優れているか？
• RQ3 ViTベースのHD-sEMGフレームワークにおいて、モデルの複雑さ（パラメータ数）と分類精度の最適なトレードオフは何か？
• RQ4 コンパクトなViTアーキテクチャは、わずかなパラメータ数で65種類の手の動きを高い精度で分類できるか？

主な発見

• ViT-HGRフレームワークは、19名の被験者を対象に65種類の等尺性手の動き認識において、平均84.62% ± 3.07%のテスト精度を達成し、学習可能なパラメータ数は78,210個にとどまる。
• LDAベースラインと比較して平均精度で約5%高い性能を示し、信号処理および学習時間も50%以上短縮され、全被験者で9.6時間から4.4時間に削減された。
• パラメータ数が少ないモデルII（78,210）が、約300,000パラメータを持つモデルIと同等の精度（84.62%）を達成したため、高い性能を発揮するには大規模なモデル構造を必要としないことが示された。
• 被騟能力の標準偏差がLDAと比較してViT-HGRフレームワークで低く抑えられており、被験者間で一貫性のある性能を示している。
• データ拡張や転移学習を一切使用せず、HD-sEMG信号からの動き認識を成功裏に実行した。これにより、モデルの頑健性と一般化能力が裏付けられた。
• 結果から、ViTは自己注意機構により空間的・時間的長距離依存性を効率的にモデル化できることから、HD-sEMGに適していることが示唆された。これにより、並列計算が可能になり、学習時間が短縮された。

Figure 2: Accuracy boxplots of 3 different models of the ViT-HGR framework. Each boxplot represents the Interquartile Range for 19 subjects. The accuracy for each subject is the average accuracy after performing 5-fold cross validation.