[논문 리뷰] TraHGR: Transformer for Hand Gesture Recognition via ElectroMyography

Soheil Zabihi, Elahe Rahimian외 2명|arXiv (Cornell University)|2022. 03. 28.

Muscle activation and electromyography studies인용 수 4

한 줄 요약

이 논문은 희소 다중채널 표면 근전도(sEMG)를 사용한 수동 제스처 인식을 위한 하이브리드 트랜스포머 기반 딥러닝 프레임워크인 TraHGR을 제안한다. 두 개의 병렬 경로—트랜스포머 인코더를 통한 시간 모델링과 CNN를 통한 공간적 특징 추출—를 결합한 후 융합층을 거쳐, DB2-D 서브셋(9가지 제스처)에서 기존 방법보다 최대 4.30% 높은 최신 기술 수준(SOTA)의 정확도 93.84%를 달성한다.

ABSTRACT

Deep learning-based Hand Gesture Recognition (HGR) via surface Electromyogram (sEMG) signals has recently shown significant potential for development of advanced myoelectric-controlled prosthesis. Existing deep learning approaches, typically, include only one model as such can hardly maintain acceptable generalization performance in changing scenarios. In this paper, we aim to address this challenge by capitalizing on the recent advances of hybrid models and transformers. In other words, we propose a hybrid framework based on the transformer architecture, which is a relatively new and revolutionizing deep learning model. The proposed hybrid architecture, referred to as the Transformer for Hand Gesture Recognition (TraHGR), consists of two parallel paths followed by a linear layer that acts as a fusion center to integrate the advantage of each module and provide robustness over different scenarios. We evaluated the proposed architecture TraHGR based on the commonly used second Ninapro dataset, referred to as the DB2. The sEMG signals in the DB2 dataset are measured in the real-life conditions from 40 healthy users, each performing 49 gestures. We have conducted extensive set of experiments to test and validate the proposed TraHGR architecture, and have compared its achievable accuracy with more than five recently proposed HGR classification algorithms over the same dataset. We have also compared the results of the proposed TraHGR architecture with each individual path and demonstrated the distinguishing power of the proposed hybrid architecture. The recognition accuracies of the proposed TraHGR architecture are 86.18%, 88.91%, 81.44%, and 93.84%, which are 2.48%, 5.12%, 8.82%, and 4.30% higher than the state-ofthe-art performance for DB2 (49 gestures), DB2-B (17 gestures), DB2-C (23 gestures), and DB2-D (9 gestures), respectively.

연구 동기 및 목표

• 제한된 데이터와 전극 배치 민감성으로 인해 희소 다중채널 sEMG 기반 수동 제스처 인식의 정확도가 낮은 문제를 해결한다.
• 다양한 실생활 환경에서의 일반화 능력에 한계가 있는 단일 모델 딥러닝 접근법의 한계를 극복한다.
• 트랜스포머의 어텐션 메커니즘을 활용해 sEMG 신호의 장거리 시간적 종속성을 모델링하면서도, 공간적 근육 활성 패턴을 유지한다.
• 시간적 및 공간적 표현을 융합하는 하이브리드 아키텍처를 개발하여 다양한 제스처 세트에서 더 높은 강인성과 성능을 확보한다.
• 기존의 기계학습 및 딥러닝 기반 방법들과 비교해 벤치마크인 Ninapro DB2 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• 이중 경로 하이브리드 아키텍처 설계: 하나의 경로는 다중 헤드 자기어텐션을 사용해 장거리 시간적 종속성을 포착하는 트랜스포머 인코더를 통해 sEMG 신호를 처리한다.
• 두 번째 경로는 1D 컨volution 신경망(CNN)을 활용해 다중채널 sEMG 신호에서 국소적인 공간 패턴을 추출한다.
• 양 경로의 출력을 선형 변환을 통해 학습 가능한 융합층을 통해 결합하여 최종 분류를 위한 표현을 통합한다.
• 최종 예측에 대한 교차 엔트로피 손실과 각 경로의 중간 단계에서의 보조 손실을 포함하는 다성분 손실 함수를 사용해 모델을 훈련시킨다.
• Adam 옵timizer를 사용하고 학습률 스케줄링을 적용하여 백프로파게이션을 통해 전체 아키텍처를 엔드 투 엔드로 최적화한다.
• 일반화 능력을 향상시키기 위해 데이터 증강 및 정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 실생활 조건에서 희소 sEMG 기반 수동 제스처 인식에 하이브리드 트랜스포머-CNN 아키텍처가 단일 모델 딥러닝 접근법을 능가할 수 있는가?
• RQ2 RNN 또는 CNN에 비해 트랜스포머의 자기어텐션 메커니즘이 희소 sEMG 신호의 시간 모델링에 얼마나 뛰어난가?
• RQ3 시간적(트랜스포머) 및 공간적(CNN) 표현의 융합이 다양한 제스처 세트와 피험자 간의 일반화 능력을 향상시키는가?
• RQ4 제안된 다성분 손실 함수는 표준 교차 엔트로피 손실에 비해 모델 수렴 및 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 TraHGR 프레임워크는 특히 작은 제스처 서브셋에서 Ninapro DB2 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• TraHGR는 전체 DB2 데이터셋(49가지 제스처)에서 86.18%의 정확도를 기록했으며, 최신 기술 수준의 DNN 방법보다 2.48% 높다.
• DB2-B 서브셋(17가지 제스처)에서는 88.91%의 정확도를 달성했으며, 이는 이전 최신 기술 수준보다 5.12% 향상된 것이다.
• DB2-C 서브셋(23가지 제스처)에서는 81.44%의 정확도를 기록했으며, 이는 이전 최고 성능 방법보다 8.82% 향상된 것이다.
• DB2-D 서브셋(9가지 제스처)에서는 93.84%의 정확도를 기록했으며, 이는 이전 최신 기술 수준을 4.30% 초월한 것이다.
• 절단 실험을 통해 병렬 경로(TNet 및 FNet)의 개별 모델보다 하이브리드 아키텍처와 공동 훈련, 다성분 손실이 더 뛰어난 성능을 내는 것을 확인하여 특징 융합의 효과를 입증했다.
• 짧은 윈도우 크기에서도 모델의 성능이 뛰어나, 100ms에서는 84.13%의 정확도를 기록했으며, 이는 이전 방법이 200ms에서 기록한 81.1%의 정확도를 초월한다.