[논문 리뷰] Deep Learning for Electromyographic Hand Gesture Signal Classification Using Transfer Learning

Ulysse Côté‐Allard, Cheikh Latyr Fall외 6명|arXiv (Cornell University)|2018. 01. 10.

Muscle activation and electromyography studies인용 수 6

한 줄 요약

이 논문은 다수의 사용자로부터 수집된 통합된 EMG 데이터를 사전 훈련하는 것을 통해 표준 전기근전도도(EMG) 수동 제스처 인식 성능을 향상시키기 위해 깊이 학습 기반의 전이 학습 프레임워크를 제안한다. 이 방법은 원시 EMG, 스펙트로그램, 연속 웨이블릿 변환(CWT)을 입력으로 활용하며, NinaPro DB5 데이터셋에서 17명의 참가자에게서 98.31%의 정확도를 기록했고, 10명의 참가자에게서는 68.98%의 정확도를 기록하여 비전이 학습 기반 기준 모델보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

In recent years, deep learning algorithms have become increasingly more prominent for their unparalleled ability to automatically learn discriminant features from large amounts of data. However, within the field of electromyography-based gesture recognition, deep learning algorithms are seldom employed as they require an unreasonable amount of effort from a single person, to generate tens of thousands of examples. This work's hypothesis is that general, informative features can be learned from the large amounts of data generated by aggregating the signals of multiple users, thus reducing the recording burden while enhancing gesture recognition. Consequently, this paper proposes applying transfer learning on aggregated data from multiple users, while leveraging the capacity of deep learning algorithms to learn discriminant features from large datasets. Two datasets comprised of 19 and 17 able-bodied participants respectively (the first one is employed for pre-training) were recorded for this work, using the Myo Armband. A third Myo Armband dataset was taken from the NinaPro database and is comprised of 10 able-bodied participants. Three different deep learning networks employing three different modalities as input (raw EMG, Spectrograms and Continuous Wavelet Transform (CWT)) are tested on the second and third dataset. The proposed transfer learning scheme is shown to systematically and significantly enhance the performance for all three networks on the two datasets, achieving an offline accuracy of 98.31% for 7 gestures over 17 participants for the CWT-based ConvNet and 68.98% for 18 gestures over 10 participants for the raw EMG-based ConvNet. Finally, a use-case study employing eight able-bodied participants suggests that real-time feedback allows users to adapt their muscle activation strategy which reduces the degradation in accuracy normally experienced over time.

연구 동기 및 목표

• sEMG 기반 제스처 인식에서 사용자별 데이터 수집 부담을 줄이기 위해 전이 학습을 통해 다수 사용자 간 데이터를 공유함으로써 목표.
• sEMG 응용 분야에서 흔히 나타나는 저데이터 환경에서 딥 러닝 모델의 일반화 능력과 강인성을 향상시키기 목표.
• 전이 학습 프레임워크 내에서 원시 신호, 스펙트로그램, CWT 등 다양한 EMG 신호 표현 방식의 성능를 평가하기 목표.
• 새로 수집한 36명의 정상 기능 참가자 데이터셋과 공개된 NinaPro DB5 데이터셋을 모두 활용해 제안된 방법의 유효성을 검증하기 목표.
• 실시간 피드백이 장기적인 온라인 분류 성능에 미치는 영향을 조사하기 목표.

제안 방법

• 원시 EMG, 스펙트로그램 또는 CWT 표현 방식을 사용해 19명의 정상 기능 참가자로부터 수집된 통합된 EMG 데이터를 기반으로 깊이 학습 기반의 ConvNet을 사전 훈련함.
• 공유된 특징 학습 아키텍처를 사용해 소스 및 타겟 네트워크 브랜치 간 요소별 합산을 통한 타겟 사용자 데이터에 대한 미세 조정 수행.
• 소스 네트워크는 다수 사용자 데이터에서 훈련되고, 타겟 네트워크는 전이 학습을 통해 단일 사용자에 맞게 적응되는 3브랜치 네트워크 설계를 적용함.
• 훈련 안정성 향상과 특징 학습 개선을 위해 배치 정규화와 ReLU 활성화 함수를 포함한 잔차 네트워크(ResNet) 아키텍처를 사용함.
• 소스 가중치로 초기화된 타겟 네트워크를 사용해 제한된 타겟 데이터에서 미세 조정을 수행함으로써 도메인 적응 기법 적용.
• 알고리즘의 확률적 특성을 고려하기 위해 20회의 독립적인 실행을 수행하고, Wilcoxon 부호 순위 검정을 통해 통계적 유의성을 확보함.

실험 결과

연구 질문

• RQ1 사용자당 훈련 데이터가 제한된 상황에서 전이 학습이 딥 러닝 모델의 성능 향상에 뚜렷한 기여를 할 수 있는가?
• RQ2 전이 학습과 결합했을 때 원시 신호, 스펙트로그램, CWT 중 어떤 EMG 신호 표현 방식이 제스처 분류 성능에서 가장 우수한가?
• RQ3 제안된 전이 학습 기반의 접근법은 사전 훈련 데이터셋에 포함되지 않은 새로운 사용자나 새로운 제스처에 대해 일반화 가능한가?
• RQ4 실시간 피드백은 전이 학습 기반의 sEMG 분류기의 장기적인 온라인 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실제 환경 구현에서 광범위한 재교정이 필요 없이 시간이 지남에 따라 성능 저하를 줄이고 강인성을 향상시킬 수 있는가?

주요 결과

• 전이 학습을 통한 ConvNet은 CWT 입력을 사용해 17명의 정상 기능 참가자에게서 7가지 수동 제스처 분류에 대해 평균 오프라인 정확도 98.31%를 달성했으며, 비증강 모델보다 뚜렷한 성능 향상을 보였다.
• NinaPro DB5 데이터셋(18가지 제스처, 10명의 참가자)에서 원시 EMG 기반의 ConvNet은 전이 학습 후 68.98%의 정확도를 기록하여, 샘플 외 제스처에 대한 일반화 능력을 입증하였다.
• Wilcoxon 부호 순위 검정 결과, 모든 20회 훈련 반복 동안 전이 학습에 의한 성능 향상은 통계적으로 유의미한 것으로 확인되었음(p < 0.05).
• 사용 사례 연구에서 실시간 피드백을 제공함으로써 14일 간의 성능 저하가 감소하였으며, 이는 사용자 적응 능력 향상과 지속적인 분류기 신뢰성 향상을 시사함.
• 제안된 방법의 성능는 오프라인에서 98.31%에서 온라인으로 95.42%로 감소하였으며, 주로 기록되지 않은 제스처 전환과 참가자의 반응 지연으로 인한 것으로 분석됨.
• 제안된 방법은 사용자 및 제스처 간 일반화가 가능하며, 다수 사용자 데이터에서 학습된 특징이 새로운 사용자와 알려지지 않은 제스처에 대해 충분히 일반화 가능한 것으로 나타남.