[논문 리뷰] Deep Learning for Electromyographic Hand Gesture Signal Classification by Leveraging Transfer Learning

Ulysse Côté‐Allard, Cheikh Latyr Fall외 6명|arXiv (Cornell University)|2018. 01. 10.

Muscle activation and electromyography studies참고 문헌 67인용 수 25

한 줄 요약

이 논문은 여러 사용자로부터 수집한 통합된 EMG 데이터를 기반으로 딥 뉴럴 네트워크를 사전 훈련한 후 개별 사용자에서 미세조정하는 전이 학습 접근법을 제안하여 전기근전도도(EMG) 손짓 분류 성능을 향상시킨다. CWT 기반 ConvNet을 사용할 경우 7가지 손짓에서 98.31%의 정확도를 달성하였고, 원시 EMG 기반 ConvNet을 사용할 경우 18가지 손짓에서 68.98%의 정확도를 기록하였다. 이는 데이터 수집 부담을 크게 줄이며 성능 향상을 이룬다.

ABSTRACT

In recent years, deep learning algorithms have become increasingly more prominent for their unparalleled ability to automatically learn discriminant features from large amounts of data. However, within the field of electromyography-based gesture recognition, deep learning algorithms are seldom employed as they require an unreasonable amount of effort from a single person, to generate tens of thousands of examples. This work's hypothesis is that general, informative features can be learned from the large amounts of data generated by aggregating the signals of multiple users, thus reducing the recording burden while enhancing gesture recognition. Consequently, this paper proposes applying transfer learning on aggregated data from multiple users, while leveraging the capacity of deep learning algorithms to learn discriminant features from large datasets. Two datasets comprised of 19 and 17 able-bodied participants respectively (the first one is employed for pre-training) were recorded for this work, using the Myo Armband. A third Myo Armband dataset was taken from the NinaPro database and is comprised of 10 able-bodied participants. Three different deep learning networks employing three different modalities as input (raw EMG, Spectrograms and Continuous Wavelet Transform (CWT)) are tested on the second and third dataset. The proposed transfer learning scheme is shown to systematically and significantly enhance the performance for all three networks on the two datasets, achieving an offline accuracy of 98.31% for 7 gestures over 17 participants for the CWT-based ConvNet and 68.98% for 18 gestures over 10 participants for the raw EMG-based ConvNet. Finally, a use-case study employing eight able-bodied participants suggests that real-time feedback allows users to adapt their muscle activation strategy which reduces the degradation in accuracy normally experienced over time.

연구 동기 및 목표

• 다양한 사용자 간 공유되는 특징을 활용하여 EMG 기반 손짓 인식의 데이터 수집 부담을 줄이기 위해.
• 통합된 다수 사용자 EMG 데이터에 대한 전이 학습이 개별 사용자에 대한 분류 성능 향상에 기여하는지 조사하기 위해.
• 딥 러닝 프레임워크 내에서 원시 EMG, 스펙트로그램, CWT와 같은 다양한 입력 모odalities의 효과를 평가하기 위해.
• 사용자 적응 과정에서 시간이 지남에 따라 분류 정확도 유지에 실시간 피드백이 미치는 영향을 평가하기 위해.
• 대규모 다수 사용자 데이터셋에서 사전 훈련을 통해 최소한의 개별 데이터 수집으로도 고성능의 손짓 인식이 가능함을 입증하기 위해.

제안 방법

• 19명의 정상 기능을 가진 참가자로부터 수집한 대규모 데이터셋을 기반으로 Myo 아ーム밴드를 사용해 일반적인 EMG 특징을 학습하기 위해 딥 뉴럴 네트워크를 사전 훈련한다.
• 17명의 참가자 데이터셋과 10명의 참가자 데이터셋을 포함한 NinaPro 데이터베이스에서 두 개의 별도 데이터셋을 사용해 사전 훈련된 모델을 미세조정한다.
• 원시 EMG, 스펙트로그램, 연속 파동수변환(CWT)의 세 가지 입력 모달리티를 사용하여 특징 표현의 효과를 평가한다.
• 각 모달리티에서 엔드 투 엔드로 훈련된 세 가지 다른 딥 러닝 아키텍처(Convnets)를 사용해 손짓을 분류한다.
• 다양한 사용자 데이터를 통합하여 학습한 특징으로 모델를 초기화한 후, 이를 개인 사용자에 맞게 적응시키는 전이 학습 기법을 적용한다.
• 8명의 정상 기능을 가진 참가자를 대상으로 실시간 피드백을 적용한 사용 사례 연구를 수행하여 장기적인 정확도 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 다수 사용자 EMG 데이터에 대한 전이 학습이 개인 사용자에 대한 손짓 분류 정확도를 상당히 향상시킬 수 있는가?
• RQ2 원시 EMG, 스펙트로그램, CWT와 같은 다양한 입력 표현 방식이 딥 러닝 모델의 EMG 기반 손짓 인식 성능에 어떤 영향을 미치는가?
• RQ3 손짓 훈련 중 실시간 피드백이 시간이 지남에 따라 분류 정확도 저하를 완화하는가?
• RQ4 대규모 다수 사용자 데이터에서의 사전 훈련을 통해 개인 데이터 수집이 얼마나 줄어들 수 있는가?
• RQ5 전이 학습으로 얻는 성능 향상은 다양한 수의 손짓과 사용자 그룹 간에서 일관되게 유지되는가?

주요 결과

• CWT 기반 ConvNet을 사용할 경우 17명의 참가자에서 7가지 손짓을 분류하는 데 최고 오프라인 정확도 98.31%를 달성하였다.
• 18가지 손짓에 대해서는 원시 EMG 기반 ConvNet이 10명의 참가자 데이터셋에서 68.98%의 정확도를 기록하여 복잡한 손짓 세트에서도 전이 학습의 가능성을 입증하였다.
• 세 가지 딥 러닝 네트워크 모두 사전 훈련을 통해 훈련을 처음부터 시작하는 것보다 체계적이고 유의미한 성능 향상을 보였다.
• 사용 사례 연구 결과, 실시간 피드백 덕분에 사용자들이 근육 활성화 전략을 적응시켜 정확도 저하를 줄일 수 있었다.
• 분류 정확도 측면에서 CWT 기반 모달리티가 원시 EMG와 스펙트로그램을 모두 초월하여, 특징 구분 능력이 뛰어나다는 점을 입증하였다.
• 다양한 사용자로부터의 통합된 데이터에서의 사전 훈련은 개인당 데이터 수집 부담을 크게 줄였으며, 대규모 EMG 손짓 인식이 실현 가능하게 하였다.