[논문 리뷰] ViT-HGR: Vision Transformer-based Hand Gesture Recognition from High Density Surface EMG Signals

Mansooreh Montazerin, Soheil Zabihi외 3명|arXiv (Cornell University)|2022. 01. 25.

Muscle activation and electromyography studies인용 수 4

한 줄 요약

이 논문은 높은 밀도의 표면 EMG(HD-sEMG) 기반 손 동작 인식을 위한 비전 트랜스포머(ViT) 기반 프레임워크인 ViT-HGR을 제안한다. HD-sEMG 신호를 ViT 아키텍처와 호환되는 패치 기반 입력 형식으로 변환한다. 데이터 증강 또는 전이 학습 없이, 라벨 없이 학습을 시작하여 65개의 동작에 대해 평균 테스트 정확도 84.62%를 달성하며, 파라미터 수는 단 78,210개에 불과하다. 이는 정확도와 학습 효율성 측면에서 LDA를 능가한다.

ABSTRACT

Recently, there has been a surge of significant interest on application of Deep Learning (DL) models to autonomously perform hand gesture recognition using surface Electromyogram (sEMG) signals. DL models are, however, mainly designed to be applied on sparse sEMG signals. Furthermore, due to their complex structure, typically, we are faced with memory constraints; require large training times and a large number of training samples, and; there is the need to resort to data augmentation and/or transfer learning. In this paper, for the first time (to the best of our knowledge), we investigate and design a Vision Transformer (ViT) based architecture to perform hand gesture recognition from High Density (HD-sEMG) signals. Intuitively speaking, we capitalize on the recent breakthrough role of the transformer architecture in tackling different complex problems together with its potential for employing more input parallelization via its attention mechanism. The proposed Vision Transformer-based Hand Gesture Recognition (ViT-HGR) framework can overcome the aforementioned training time problems and can accurately classify a large number of hand gestures from scratch without any need for data augmentation and/or transfer learning. The efficiency of the proposed ViT-HGR framework is evaluated using a recently-released HD-sEMG dataset consisting of 65 isometric hand gestures. Our experiments with 64-sample (31.25 ms) window size yield average test accuracy of 84.62 +/- 3.07%, where only 78, 210 number of parameters is utilized. The compact structure of the proposed ViT-based ViT-HGR framework (i.e., having significantly reduced number of trainable parameters) shows great potentials for its practical application for prosthetic control.

연구 동기 및 목표

• 기존 딥러닝 모델이 고밀도 sEMG 신호를 처리할 때 겪는 한계, 특히 메모리 제약과 장시간 학습 문제를 해결하기 위해.
• 비전 트랜스포머(ViT)가 복잡한 다중채널 HD-sEMG 신호를 분류하는 데 있어 타당성과 효율성을 탐색하기 위해.
• 광범위한 특징 공학이나 데이터 증강이 필요 없는, 직접적인 원시 HD-sEMG 데이터에서 작동하는 컴act하고 종단 간 딥러닝 프레임워크를 개발하기 위해.
• 19명의 참가자에게서 수집된 65개의 등척성 동작을 포함한 대규모 HD-sEMG 데이터셋에서 ViT-HGR의 성능을 정확도, 파라미터 효율성, 학습 속도 측면에서 평가하기 위해.

제안 방법

• HD-sEMG 신호는 64샘플(31.25 ms) 윈도우로 분할되고, 비전 트랜스포머 입력에 적합한 패치 기반 형식으로 변환된다.
• 제안된 ViT-HGR 프레임워크는 학습 가능한 클래스 토큰과 위치 임베딩을 갖춘 표준 비전 트랜스포머 아키텍처를 사용하며, HD-sEMG 신호의 공간-시간적 구조에 맞게 조정된다.
• 전이 학습이나 데이터 증강 없이, 교차 엔트로피 손실을 사용해 종단 간 라벨 없이 학습되며, 전극 간 및 시간에 걸친 장거리 의존성을 모델링하기 위해 자기주의 메커니즘을 활용한다.
• 모델 복잡도와 성능 간의 트레이드오���을 연구하기 위해 깊이와 너비가 다른 세 가지 버전의 ViT-HGR 모델을 평가한다.
• 모든 참가자에 대해 안정적인 평가를 확보하기 위해 각 참가자별로 5겹 교차검증 전략을 적용한다.
• 공정한 벤치마킹을 위해 동일한 5개의 주요 sEMG 특징(MAV, ZC, WL, RMS, SSC)과 AR 계수를 사용한 표준 LDA 분류기와 비교한다.

Figure 1: A graphical representation of the Vision Transformer: (a) A cropped portion of the original signal is fed to the ViT and converted to small patches. These patches go through a patch + position embedding layer and a class token is prepended to them. They are then inputted to the transformer

실험 결과

연구 질문

• RQ1 데이터 증강이나 전이 학습 없이도 비전 트랜스포머가 고밀도 표면 EMG 신호를 효과적으로 다룰 수 있는가?
• RQ2 ViT 기반 모델은 정확도와 학습 효율성 측면에서 기존의 기계학습 방법(LDA 등)에 비해 어떻게 비교되는가?
• RQ3 ViT 기반 HD-sEMG 프레임워크에서 모델 복잡도(파라미터 수)와 분류 정확도 사이의 최적의 트레이드오���은 무엇인가?
• RQ4 소수의 파라미터로만 구성된 컴act한 ViT 아키텍처가 65개의 손 동작을 높은 정확도로 분류할 수 있는가?

주요 결과

• ViT-HGR 프레임워크는 19명의 참가자에게서 수집된 65개의 등척성 손 동작에 대해 평균 테스트 정확도 84.62% ± 3.07%를 달성하며, 학습 가능한 파라미터 수는 단 78,210개에 불과하다.
• LDA 기반 베이스라인에 비해 평균 정확도 약 5% 향상되었으며, 신호 처리 및 학습 시간도 9.6시간에서 4.4시간으로 50% 이상 감소했다.
• 모델 II는 파라미터 수가 적은(78,210개)에도 불구하고 모델 I(~300,000개 파라미터)와 유사한 정확도(84.62%)를 달성하여, 높은 성능을 위해 큰 모델 복잡도가 반드시 필요한 것은 아님을 시사한다.
• ViT-HGR 프레임워크에서는 참가자 간 정확도의 표준편차가 LDA에 비해 감소하여, 개인 간 일관성 있는 성능을 보였다.
• ViT-HGR 프레임워크는 데이터 증강이나 전이 학습 없이도 HD-sEMG 신호에서 동작을 성공적으로 분류하였으며, 이는 강건성과 일반화 능력을 입증한다.
• 결과적으로, ViT는 자기주의를 통해 공간적·시간적 장거리 의존성을 효율적으로 모델링할 수 있어 HD-sEMG에 매우 적합하며, 병렬 계산이 가능하고 학습 시간이 짧다는 점에서 유리하다.

Figure 2: Accuracy boxplots of 3 different models of the ViT-HGR framework. Each boxplot represents the Interquartile Range for 19 subjects. The accuracy for each subject is the average accuracy after performing 5-fold cross validation.