[論文レビュー] Time2Vec Transformer for Robust Gesture Recognition from Low-Density sEMG

Blagoj Hristov, Hristijan Gjoreski+2 more|arXiv (Cornell University)|Feb 2, 2026

Muscle activation and electromyography studies被引用数 0

ひとこと要約

本論文は、データ効率的なTime2Vec Transformerフレームワークを提案し、堅牢で低密度の二チャネル sEMG ジェスチャ認識で最先端の複数被験者FF1スコアと unseen_subjectsに対する迅速なキャリブレーションを実現する。

ABSTRACT

Accurate and responsive myoelectric prosthesis control typically relies on complex, dense multi-sensor arrays, which limits consumer accessibility. This paper presents a novel, data-efficient deep learning framework designed to achieve precise and accurate control using minimal sensor hardware. Leveraging an external dataset of 8 subjects, our approach implements a hybrid Transformer optimized for sparse, two-channel surface electromyography (sEMG). Unlike standard architectures that use fixed positional encodings, we integrate Time2Vec learnable temporal embeddings to capture the stochastic temporal warping inherent in biological signals. Furthermore, we employ a normalized additive fusion strategy that aligns the latent distributions of spatial and temporal features, preventing the destructive interference common in standard implementations. A two-stage curriculum learning protocol is utilized to ensure robust feature extraction despite data scarcity. The proposed architecture achieves a state-of-the-art multi-subject F1-score of 95.7% $\pm$ 0.20% for a 10-class movement set, statistically outperforming both a standard Transformer with fixed encodings and a recurrent CNN-LSTM model. Architectural optimization reveals that a balanced allocation of model capacity between spatial and temporal dimensions yields the highest stability. Furthermore, while direct transfer to a new unseen subject led to poor accuracy due to domain shifts, a rapid calibration protocol utilizing only two trials per gesture recovered performance from 21.0% $\pm$ 2.98% to 96.9% $\pm$ 0.52%. By validating that high-fidelity temporal embeddings can compensate for low spatial resolution, this work challenges the necessity of high-density sensing. The proposed framework offers a robust, cost-effective blueprint for next-generation prosthetic interfaces capable of rapid personalization.

研究の動機と目的

• 最小限のセンサ機器で使いやすい筋電義手制御を動機づける。
• 希薄なsEMGデータに適したデータ効率的な深層学習モデルを開発する。
• 生体信号の確率的な時間的ワーピングを捉えるTime2Vecの時系列埋め込みを統合する。
• 時空間特徴分布を整合させる正規化加法融合を提案する。
• 被験者を横断した頑健性を評価し、 unseen_subjectsへの迅速なキャリブレーション能力を示す。

提案手法

• 希薄な二チャネルsEMGに適合したハイブリッドTransformersアーキテクチャを用いる。
• 時間的ワープをモデル化するTime2Vec学習可能時間埋め込みを組み込む。
• 潜在分布を整合させる正規化加法融合を適用する。
• データ不足を緩和する2段階のカリキュラム学習プロトコルを採用する。
• 空間次元と時間次元のモデル容量のバランスを取って安定性を確保する。
• 固定エンコーディングの標準的なTransformerとCNN-LSTMベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 Time2Vecの時間埋め込みは低密度のsEMGでジェスチャ認識の頑健性を向上させるか。
• RQ2 正規化加法融合は希薄センサ設定における空間特徴と時間特徴の干渉を緩和するか。
• RQ3 限られたラベル付きデータ下でカリキュラム学習は特徴抽出にどのように影響するか。
• RQ4 空間と時間の次元間のモデル容量配分が安定性と性能に与える影響はどの程度か。
• RQ5 各ジェスチャにつき少数の試行しか得られていない unseen_subjectsに対して迅速なキャリブレーションは実現可能か。

主な発見

• 10クラスの動作集合で最先端の複数被験者F1スコア95.7% ± 0.20%を達成。
• 固定エンコーディングを用いた標準的なTransformerおよび再帰的CNN-LSTMベースラインを上回る。
• unseen_subjectsへの直接転移はドメインシフトのため精度が低いが、ジェスチャごとに2回の試行で迅速なキャリブレーションを行うと性能が21.0% ± 2.98%から96.9% ± 0.52%へ向上。
• 高忠実度の時間埋め込みは低空間解像度を補完でき、高密度センサの必然性を難しくする。
• 空間と時間の次元間のモデル容量を均等に配分すると安定性が高まる。