[논문 리뷰] TEMGNet: Deep Transformer-based Decoding of Upperlimb sEMG for Hand Gestures Recognition

Elahe Rahimian, Soheil Zabihi외 4명|arXiv (Cornell University)|2021. 09. 25.

Muscle activation and electromyography studies참고 문헌 28인용 수 19

한 줄 요약

이 논문은 표면 EMG 신호에서 상지 손짓 인식에 대해 상태의 기준을 달성하는 Vision Transformer 기반의 딥러닝 모델인 TEMGNet을 제안한다. 이 모델은 유일하게 65,713개의 훈련 가능한 파라미터만을 사용하여 이전 모델보다 7배 적은 파라미터를 사용하고, 300ms 윈도우에서 NinaPro DB2 데이터셋에서 82.93%의 정확도를 달성하여 사전 훈련이나 미세조정 없이도 뛰어난 성능과 구조적 단순화를 동시에 확보한다.

ABSTRACT

There has been a surge of recent interest in Machine Learning (ML), particularly Deep Neural Network (DNN)-based models, to decode muscle activities from surface Electromyography (sEMG) signals for myoelectric control of neurorobotic systems. DNN-based models, however, require large training sets and, typically, have high structural complexity, i.e., they depend on a large number of trainable parameters. To address these issues, we developed a framework based on the Transformer architecture for processing sEMG signals. We propose a novel Vision Transformer (ViT)-based neural network architecture (referred to as the TEMGNet) to classify and recognize upperlimb hand gestures from sEMG to be used for myocontrol of prostheses. The proposed TEMGNet architecture is trained with a small dataset without the need for pre-training or fine-tuning. To evaluate the efficacy, following the-recent literature, the second subset (exercise B) of the NinaPro DB2 dataset was utilized, where the proposed TEMGNet framework achieved a recognition accuracy of 82.93% and 82.05% for window sizes of 300ms and 200ms, respectively, outperforming its state-of-the-art counterparts. Moreover, the proposed TEMGNet framework is superior in terms of structural capacity while having seven times fewer trainable parameters. These characteristics and the high performance make DNN-based models promising approaches for myoelectric control of neurorobots.

연구 동기 및 목표

• sEMG 기반 미오전기 제어를 위한 기존 DNN 모델의 높은 파라미터 수와 데이터 요구량 문제를 해결하기 위해.
• sEMG 신호의 장거리 시간적 상관관계를 포착하는 어텐션 메커니즘을 활용하여 손짓 인식 정확도를 향상시키기 위해.
• Transformer의 병렬 처리 가능한 자기어텐션 메커니즘을 활용하여 모델 복잡성과 훈련 비용을 감소시키기 위해.
• Transformer가 사전 훈련이나 미세조정 없이도 소규모 sEMG 데이터셋에서 효과적으로 훈련될 수 있음을 입증하기 위해.
• 실시간 보철 제어 응용 분야에 적합한 컴act하고 고성능의 모델을 개발하기 위해.

제안 방법

• 제안된 TEMGNet 아키텍처는 Vision Transformer(ViT) 프레임워크를 기반으로 하며, sEMG 신호를 이미지 유사 패치로 변환하여 입력으로 사용한다.
• 각 sEMG 신호 윈도우는 12×12 크기의 겹치지 않는 패치로 나뉘며, 학습 가능한 클래스 및 위치 임베딩이 패치 임베딩에 추가된다.
• 모델은 sEMG 데이터의 시간적 및 공간적 특징 간의 장거리 상관관계를 포착하기 위해 다중 헤드 자기어텐션 메커니즘을 사용한다.
• 패치의 순차적 순서를 인코딩하기 위해 위치 임베딩은 훈련 중에 학습되며, 이는 모델이 시간적 구조를 이해하는 데 기여한다.
• 모델은 사전 훈련이나 미세조정 없이 NinaPro DB2 데이터셋에서 엔드 투 엔드로 훈련되며, 분류 작업을 위해 교차 엔트로피 손실을 사용한다.
• 모델 깊이(층 수), 모델 차원(d), 패치 크기 등의 하이퍼파ram터에 대한 아블레이션 연구를 수행하여 성능을 최적화하였다.

실험 결과

연구 질문

• RQ1 Vision Transformer 기반 아키텍처가 최소한의 훈련 가능한 파라미터로 sEMG 기반 손짓 인식에서 높은 정확도를 달성할 수 있는가?
• RQ2 Transformer의 자기어텐션 메커니즘이 RNN 및 CNN보다 sEMG 신호의 시간적 및 공간적 특징을 더 효과적으로 포착하는가?
• RQ3 사전 훈련이나 미세조정 없이도 소규모 sEMG 데이터셋에서 Transformer 모델이 효과적으로 훈련될 수 있는가?
• RQ4 모델 깊이와 차원은 sEMG 분류에서 정확도와 파라미터 효율성에 어떤 영향을 미치는가?
• RQ5 학습된 위치 임베딩이 sEMG 신호의 순차적 관계를 어느 정도 정확하게 인코딩하는가?

주요 결과

• TEMGNet은 300ms 윈도우에서 NinaPro DB2 데이터셋에서 82.93%의 인식 정확도를 달성하여 기존 최고 성능 모델을 초월했다.
• 200ms 윈도우에서는 82.05%의 정확도를 기록하여 이전 연구에서 보고한 79.0%를 상회했다.
• 65,713개의 훈련 가능한 파라미터를 가진 모델은 최고 성능 기준 모델(466,944개 파라미터) 대비 7배 낮은 구조적 복잡도를 확보했다.
• 2층을 초과해 모델 깊이를 늘여도 정확도 향상이 없었으며, 이는 특정 깊이 이후 수익 감소 현상을 시사한다.
• 윌코크슨 부호 순위 검정을 통해 모델 1과 모델 4 간의 성능 차이가 통계적으로 유의미하다는 것이 확인되었으며(p ≤ 1.00e-4).
• 위치 임베딩의 시각화 결과, 인접한 패치 간의 위치 임베딩 벡터 유사도가 높게 나타나, 모델이 순차적 관계를 효과적으로 학습하고 있음을 확인했다.