[논문 리뷰] Time2Vec Transformer for Robust Gesture Recognition from Low-Density sEMG

Blagoj Hristov, Hristijan Gjoreski외 2명|arXiv (Cornell University)|2026. 02. 02.

Muscle activation and electromyography studies인용 수 0

한 줄 요약

본 논문은 데이터 효율적인 Time2Vec Transformer 프레임워크를 제시하여 강건하고 저밀도 이채널 sEMG 제스처 인식에 대해 다중 피험자 F1-스코어와 미지의 피험자에 대한 빠른 보정을 달성한다.

ABSTRACT

Accurate and responsive myoelectric prosthesis control typically relies on complex, dense multi-sensor arrays, which limits consumer accessibility. This paper presents a novel, data-efficient deep learning framework designed to achieve precise and accurate control using minimal sensor hardware. Leveraging an external dataset of 8 subjects, our approach implements a hybrid Transformer optimized for sparse, two-channel surface electromyography (sEMG). Unlike standard architectures that use fixed positional encodings, we integrate Time2Vec learnable temporal embeddings to capture the stochastic temporal warping inherent in biological signals. Furthermore, we employ a normalized additive fusion strategy that aligns the latent distributions of spatial and temporal features, preventing the destructive interference common in standard implementations. A two-stage curriculum learning protocol is utilized to ensure robust feature extraction despite data scarcity. The proposed architecture achieves a state-of-the-art multi-subject F1-score of 95.7% $\pm$ 0.20% for a 10-class movement set, statistically outperforming both a standard Transformer with fixed encodings and a recurrent CNN-LSTM model. Architectural optimization reveals that a balanced allocation of model capacity between spatial and temporal dimensions yields the highest stability. Furthermore, while direct transfer to a new unseen subject led to poor accuracy due to domain shifts, a rapid calibration protocol utilizing only two trials per gesture recovered performance from 21.0% $\pm$ 2.98% to 96.9% $\pm$ 0.52%. By validating that high-fidelity temporal embeddings can compensate for low spatial resolution, this work challenges the necessity of high-density sensing. The proposed framework offers a robust, cost-effective blueprint for next-generation prosthetic interfaces capable of rapid personalization.

연구 동기 및 목표

• 최소한의 센서 하드웨어로 기계적 보조제의 접근 가능한 제어를 촉진한다.
• 희박한 sEMG 데이터에 적합한 데이터 효율적 딥러닝 모델을 개발한다.
• 생체 신호의 확률적 시간 왜곡을 포착하기 위해 Time2Vec 시간적 임베딩을 통합한다.
• 공간적 및 시간적 특징 분포를 정렬하기 위한 정규화된 가법 융합을 제안한다.
• 주체 간 로버스트성과 미지의 피험자에 대한 빠른 보정 능력을 평가한다.]
• method:["희박한 이채널 sEMG에 맞춘 하이브리드 Transformer 아키텍처를 사용한다.","시간 왜곡을 모델링하기 위해 Time2Vec 학습 가능한 시간 임베딩을 도입한다.","공간적 및 시간적 특징의 잠재 분포를 정렬하기 위해 정규화된 가법 융합을 적용한다.","데이터 희소성을 완화하기 위한 두 단계 커리큘럼 러닝 프로토콜을 적용한다.","안정성을 위해 공간 차원과 시간 차원 간의 모델 용량 균형을 맞춘다.","고정 인코딩을 사용하는 표준 Transformer와 CNN-LSTM 베이스라인과 비교한다."]
• research_questions:["Time2Vec 시간적 임베딩이 저밀도 sEMG에서 제스처 인식의 강건성을 향상시킬 수 있는가?","정규화된 가법 융합이 희소 센서 설정에서 공간적 및 시간적 특징 간 간섭을 완화하는가?","제한된 레이블 데이터에서 커리큘럼 러닝이 특징 추출에 어떤 영향을 미치는가?","공간 및 시간 차원 간의 모델 용량 배분이 안정성 및 성능에 어떤 영향을 미치는가?","모든 제스처당 몇몇 시도만으로도 아직 보지 않은 피험자에 대해 신속한 보정이 가능한가?]",

제안 방법

• 희박하고 이채널 sEMG에 맞춘 하이브리드 Transformer 아키텍처를 사용한다.
• Time2Vec 학습 가능한 시간 임베딩을 도입하여 시간 왜곡을 모델링한다.
• 공간적 및 시간적 특징의 잠재 분포를 정규화된 가법 융합으로 정렬한다.
• 데이터 부족 문제를 완화하기 위해 두 단계의 커리큘럼 러닝 프로토콜을 적용한다.
• 공간적 차원과 시간적 차원 간의 모델 용량을 균형 있게 배치하여 안정성을 확보한다.
• 고정 인코딩을 사용하는 표준 Transformer와 고전 CNN-LSTM 베이스라인과 비교한다.]
• research_questions:["Time2Vec 시간적 임베딩이 저밀도 sEMG에서 제스처 인식의 강건성을 향상시킬 수 있는가?","정규화된 가법 융합이 희소 센서 설정에서 공간적 및 시간적 특징 간 간섭을 완화하는가?","제한된 레이블 데이터에서 커리큘럼 러닝이 특징 추출에 어떤 영향을 미치는가?","공간 및 시간 차원 간의 모델 용량 배분이 안정성 및 성능에 어떤 영향을 미치는가?","모든 제스처당 몇몇 시도만으로도 아직 보지 않은 피험자에 대해 신속한 보정이 가능한가?]
• key_findings:["10-class 움직임 세트에서 다중 피험자 F1-스코어 95.7% ± 0.20%의 최첨단 성능을 달성한다.","표준 인코딩을 고정한 Transformer 및 순환 CNN-LSTM 베이스라인보다 우수한 성능을 보인다.","보지 못한 피험자에 대한 직접 전이는 도메인 시프트로 인해 정확도가 낮지만, 제스처당 두 번의 시도로 빠른 보정을 수행하면 성능이 21.0% ± 2.98%에서 96.9% ± 0.52%로 상승한다.","높은 해상도 공간적 제약 없이도 고충실도 시간 임베딩이 공간 해상도 저하를 보완할 수 있어 고밀도 센싱의 필요성을 과제화한다.","공간적 및 시간적 차원 간의 모델 용량 배분의 균형이 안정성 향상으로 이어진다."]
• table_headers: []
• table_rows: []

실험 결과

연구 질문

• RQ1 Can Time2Vec temporal embeddings improve robustness of gesture recognition on low-density sEMG?
• RQ2 Does normalized additive fusion mitigate interference between spatial and temporal features in sparse-sensor settings?
• RQ3 How does curriculum learning affect feature extraction under limited labeled data?
• RQ4 What is the impact of allocating model capacity between spatial and temporal dimensions on stability and performance?
• RQ5 Is rapid calibration feasible for unseen subjects using only a few trials per gesture?

주요 결과

• Achieves a state-of-the-art multi-subject F1-score of 95.7% ± 0.20% for a 10-class movement set.
• Outperforms a standard Transformer with fixed encodings and a recurrent CNN-LSTM baseline.
• Direct transfer to unseen subjects yields poor accuracy due to domain shifts, but rapid calibration with two trials per gesture raises performance from 21.0% ± 2.98% to 96.9% ± 0.52%.
• High-fidelity temporal embeddings can compensate for low spatial resolution, challenging the necessity of high-density sensing.
• Balanced allocation of model capacity between spatial and temporal dimensions yields higher stability.