[논문 리뷰] sEMG-based Hand Gesture Recognition with Deep Learning

Marcello Zanghieri|arXiv (Cornell University)|2023. 06. 19.

Muscle activation and electromyography studies인용 수 4

한 줄 요약

이 석사학위논문은 표면EMG 신호에서 손 자세를 분류하기 위해 파이토치를 사용하여 1D-CNN를 구현한 Unibo-INAIL sEMG 데이터셋에 대한 딥러닝 응용의 첫 사례를 제시한다. 81.2%의 이포지션 정확도와 75.9%의 이일 정확도를 기록하였으며, 이는 RBF-SVM 기준선과 유사한 성능이지만, 다중자세 및 최근 데이터 우선 훈련 전략이 일반화 능력을 크게 향상시킴을 입증하여, 향후 HMI 연구에서 1D-CNN가 타당한 후보로 부상할 수 있음을 시사한다.

ABSTRACT

Hand gesture recognition based on surface electromyographic (sEMG) signals is a promising approach for developing Human-Machine Interfaces (HMIs) with a natural control, such as intuitive robot interfaces or poly-articulated prostheses. However, real-world applications are limited by reliability problems due to motion artefacts, postural and temporal variability, and sensor re-positioning. This master thesis is the first application of deep learning on the Unibo-INAIL dataset, the first public sEMG dataset exploring the variability between subjects, sessions and arm postures by collecting data over 8 sessions of each of 7 able-bodied subjects executing 6 hand gestures in 4 arm postures. Recent studies address variability with strategies based on training set composition, which improve inter-posture and inter-day generalization of non-deep machine learning classifiers, among which the RBF-kernel SVM yields the highest accuracy. The deep architecture realized in this work is a 1d-CNN inspired by a 2d-CNN reported to perform well on other public benchmark databases. On this 1d-CNN, various training strategies based on training set composition were implemented and tested. Multi-session training proves to yield higher inter-session validation accuracies than single-session training. Two-posture training proves the best postural training (proving the benefit of training on more than one posture) and yields 81.2% inter-posture test accuracy. Five-day training proves the best multi-day training, yielding 75.9% inter-day test accuracy. All results are close to the baseline. Moreover, the results of multi-day training highlight the phenomenon of user adaptation, indicating that training should also prioritize recent data. Though not better than the baseline, the achieved classification accuracies rightfully place the 1d-CNN among the candidates for further research.

연구 동기 및 목표

• Unibo-INAIL sEMG 데이터셋에 딥러닝, 특히 1D-CNN를 적용하여 평가하는 것. 이 데이터셋은 개인 간, 세션 간, 자세 간 변동성을 처음으로 캡처한 공개 데이터셋이다.
• 운동 아티팩트, 자세 변동성, 센서 재배치 등의 문제로 인해 sEMG 기반 인간-기계 인터페이스(HMIs)의 신뢰성이 떨어지는 문제를 해결하는 것.
• 다양한 훈련 세트 구성 전략(예: 다중자세 및 다일 훈련)이 기존의 기계학습 기준선 대비 딥러닝 모델의 일반화 능력을 향상시키는지 조사하는 것.
• 1D-CNN가 이 도전적인 실세계 sEMG 데이터에서 최신 기술 수준의 기존 모델인 RBF 커널 SVM과 경쟁하거나 승승을 거두는지 확인하는 것.

제안 방법

• PyTorch에 기반한 1D-CNN 아키텍처를 구현하였으며, 다른 공개 벤치마크에서 잘 성능을 내던 2D-CNN를 영감으로 삼았다.
• 데이터 전처리 과정으로 sEMG 신호의 타임윈도잉과 훈련, 검증, 테스트 세트로의 삼분할을 수행하였다.
• 훈련 전략은 훈련 세트의 구성에 기반하여 설정되었으며, 단일세션, 이중자세, 다일(5일) 훈련을 포함하였다.
• 모델은 미니배치 경량 최적화를 사용한 확률적 경사 하강법, 교차 엔트로피 손실, L2 정규화, 배치 정규화, ReLU 활성화 함수, 드롭아웃을 활용한 정규화를 적용하였다.
• 세션 간 및 일 간 일반화 능력을 평가하기 위해 D6–D8에서 보류된 테스트 세트를 사용하였으며, 평균 정확도와 표준 오차를 성능 측정 지표로 사용하였다.
• 사용자 적응 분석은 다일 훈련 결과를 비교하여 수행하였으며, 시간이 지남에 따라 일 간 변동성이 감소하는 경향을 확인하였다.

실험 결과

연구 질문

• RQ1 Unibo-INAIL sEMG 데이터셋에서 높은 변동성을 보이는 개인 간, 세션 간, 팔 자세 간의 다양성을 반영하는 이 데이터셋에서 1D-CNN가 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 이중자세 훈련은 단일자세 또는 단일세션 훈련 대비 이포지션 일반화 능력을 향상시키는가?
• RQ3 특히 최근 데이터를 우선시하는 다일 훈련은 일 간 일반화 능력을 향상시키고 시간이 지남에 따라 사용자 적응을 반영하는가?
• RQ4 1D-CNN의 성능는 RBF 커널 SVM 기준선(이 데이터셋에서 현재 최고 성능)과 비교해 볼 때 어떻게 되는가?
• RQ5 1D-CNN와 기준선 간의 관측된 성능 격차는 Unibo-INAIL 데이터셋의 전처리 제약 조건이나 본질적 데이터 제약에 기인한 것인가?

주요 결과

• 다중세션 훈련은 단일세션 훈련 대비 더 높은 세션 간 검증 정확도를 기록하여 세션 간 일반화 능력 향상을 시사한다.
• 이중자세 훈련은 자세 일반화에 가장 최적의 전략이었으며, 이포지션 테스트 정확도 81.2%와 표준편차 7.3%를 달성하였다.
• 5일 다일 훈련은 시간적 일반화 전략으로서 가장 우수했으며, 이일 테스트 정확도 75.9%와 표준편차 8.6%를 기록하였다.
• 결과는 RBF-SVM 기준선과 유사했으며, 검증 정확도는 이포지션 기준 83%, 이일 기준 77%였으며, 이는 1D-CNN가 기준선을 능가하지는 않지만 경쟁 가능한 성능를 보임을 시사한다.
• 다일 훈련 결과에서 사용자 적응이 확인되었으며, 시간이 지남에 따라 자세 실행의 일 간 차이가 감소하는 경향을 보였고, 이는 훈련 시 최근 데이터를 우선시해야 함을 시사한다.
• 1D-CNN는 전통적 모델과 유사한 성능를 달성하여 향후 연구에 강력한 후보로 부상할 수 있으며, 특히 2D-CNN에 적합한 시간-주파수 분석과 같은 향상된 전처리 기법을 적용할 경우 더욱 유망하다.