[논문 리뷰] A Robust and Accurate Deep Learning based Pattern Recognition Framework for Upper Limb Prosthesis using sEMG

Sidharth Pancholi, Amit M. Joshi외 1명|arXiv (Cornell University)|2021. 06. 04.

Muscle activation and electromyography studies참고 문헌 27인용 수 11

한 줄 요약

이 논문은 전통적인 수작업 특징 추출을 회피하기 위해 표면 EMG 신호에서 상지 운동을 분류하기 위한 강건하고 빠르며 정확한 딥러닝 프레임워크를 제안한다. 원시 EMG 신호를 스펙트로그램 이미지로 변환하고, 최적화된 전처리(MZP 및 MPP)를 적용한 CNN 아키텍처를 사용함으로써, 암페티(ампут리) 환자와 건강한 대상자에 대해 다섯 가지 벤치마크 데이터셋에서 최대 99.11%의 분류 정확도를 달성하였으며, 정확도와 학습 효율성 측면에서 이전의 최고 성능 기술들보다 뚜렷이 뛰어나다.

ABSTRACT

In EMG based pattern recognition (EMG-PR), deep learning-based techniques have become more prominent for their self-regulating capability to extract discriminant features from large data-sets. Moreover, the performance of traditional machine learning-based methods show limitation to categorize over a certain number of classes and degrades over a period of time. In this paper, an accurate, robust, and fast convolutional neural network-based framework for EMG pattern identification is presented. To assess the performance of the proposed system, five publicly available and benchmark data-sets of upper limb activities were used. This data-set contains 49 to 52 upper limb motions (NinaPro DB1, NinaPro DB2, and NinaPro DB3), Data with force variation, and data with arm position variation for intact and amputated subjects. The classification accuracies of 91.11% (53 classes), 89.45% (49 classes), 81.67% (49 classes of amputees), 95.67% (6 classes with force variation), and 99.11% (8 classes with arm position variation) have been observed during the testing and validation. The performance of the proposed system is compared with the state of art techniques in the literature. The findings demonstrate that classification accuracy and time complexity have improved significantly. Keras, TensorFlow's high-level API for constructing deep learning models, was used for signal pre-processing and deep-learning-based algorithms. The suggested method was run on an Intel 3.5GHz Core i7, 7th Gen CPU with 8GB DDR4 RAM.

연구 동기 및 목표

• 복잡한 상지 운동을 분류하는 데 있어 전통적인 머신러닝 방법의 한계를 극복하는 딥러닝 기반의 EMG 패턴 인식(DLPR) 프레임워크를 개발하는 것.
• 기존의 딥러닝 및 수작업 특징 기반 접근법에 비해 분류 정확도를 향상시키고 학습 시간을 단축하는 것.
• 힘의 변화, 팔 위치 변화, 암페티 환자 데이터를 포함한 다양한 데이터셋에 걸쳐 시스템의 강건성을 평가하는 것.
• 최적화된 전처리를 통해 학습 시간을 최소화하고 모델 효율성을 향상시켜 실시간 구현을 가능하게 하는 것.

제안 방법

• 원시 sEMG 신호는 신규로 제안된 두 가지 매개변수인 MZP(Mean Zero-Phase)와 MPP(Maximum Power Point)를 사용하여 전처리되어, 신경 정보를 유지하면서 데이터 크기를 줄인다.
• 전처리된 신호는 시간-주파수 특성을 표현하기 위해 단기 푸리에 변환(STFT)을 사용하여 스펙트로그램 이미지로 변환된다.
• 딥 컨volution 네트워크(CNN)는 스펙트로그램 이미지에 대해 엔드 투 엔드로 학습되어, 수동적인 특징 공학을 제거하고 자동으로 구분 가능한 특징을 학습한다.
• 모델은 텐서플로우 백엔드를 사용한 케라스를 사용하여 구현되어, 표준 하드웨어(인텔 i7, 8GB RAM)에서 효율적인 학습과 배포를 가능하게 한다.
• 프레임워크는 니나프로 DB1, DB2, DB3(암페티 데이터 포함), 그리고 힘과 팔 위치 변화가 있는 두 개의 커스텀 데이터셋을 포함한 다섯 가지 벤치마크 데이터셋에서 평가된다.
• 학습은 50 에포크 동안 수행되며, 수렴과 성능 최적화를 위해 조기 정지와 하이퍼파ram터 튜닝이 적용된다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 CNN 프레임워크는 기존의 머신러닝 및 수작업 특징 기반 방법에 비해 sEMG 기반 상지 운동 인식에서 더 높은 분류 정확도를 달성할 수 있는가?
• RQ2 제안된 전처리(MZP 및 MPP)는 CNN 모델의 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 힘의 변화, 팔 위치 변화, 암페티 환자 데이터를 포함한 다양한 데이터셋에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ4 기존의 딥러닝 모델에 비해 제안된 프레임워크는 분류 정확도를 유지하거나 향상시키면서도 학습 시간을 크게 줄일 수 있는가?

주요 결과

• 제안된 프레임워크는 니나프로 DB1의 53개 클래스에서 91.11%의 분류 정확도를 달성하여 이전의 최고 성능 기술들을 능가하였다.
• 니나프로 DB2(49개 클래스)에서는 89.45%의 정확도를 기록하여 건강한 대상자에서 강력한 성능을 보였다.
• 니나프로 DB3의 암페티 데이터에서는 81.67%의 정확도를 기록하여 DASH 점수와 사지 상태의 개인적 변동성에도 불구하고 강건함을 입증하였다.
• 힘의 변화가 있는 조건에서는 95.67%의 정확도를 달성하여 동적 제어 조건에 대한 강력한 적응성을 보였다.
• 팔 위치 변화가 있는 조건에서는 최고의 정확도인 99.11%를 기록하여 미세한 운동 변화를 구분하는 능력을 입증하였다.
• 학습 시간이 최소화되어 가장 큰 데이터셋에 대해서도 약 523초(약 9분 미만) 내로 학습이 완료되어 계산 오버헤드를 크게 감소시켰다.