[论文解读] A Robust and Accurate Deep Learning based Pattern Recognition Framework for Upper Limb Prosthesis using sEMG

Sidharth Pancholi, Amit M. Joshi+1 more|arXiv (Cornell University)|Jun 4, 2021

Muscle activation and electromyography studies参考文献 27被引用 11

一句话总结

该论文提出了一种鲁棒、快速且准确的深度学习框架，利用卷积神经网络（CNNs）从表面肌电信号（sEMG）中分类上肢运动，避免了传统手工特征提取方法。通过将原始sEMG信号转换为语谱图图像，并应用经过优化预处理（MZP和MPP）的CNN架构，该方法在五组基准数据集上的截肢者和健康受试者中实现了高达99.11%的分类准确率，显著优于以往最先进的方法在准确率和训练效率方面的表现。

ABSTRACT

In EMG based pattern recognition (EMG-PR), deep learning-based techniques have become more prominent for their self-regulating capability to extract discriminant features from large data-sets. Moreover, the performance of traditional machine learning-based methods show limitation to categorize over a certain number of classes and degrades over a period of time. In this paper, an accurate, robust, and fast convolutional neural network-based framework for EMG pattern identification is presented. To assess the performance of the proposed system, five publicly available and benchmark data-sets of upper limb activities were used. This data-set contains 49 to 52 upper limb motions (NinaPro DB1, NinaPro DB2, and NinaPro DB3), Data with force variation, and data with arm position variation for intact and amputated subjects. The classification accuracies of 91.11% (53 classes), 89.45% (49 classes), 81.67% (49 classes of amputees), 95.67% (6 classes with force variation), and 99.11% (8 classes with arm position variation) have been observed during the testing and validation. The performance of the proposed system is compared with the state of art techniques in the literature. The findings demonstrate that classification accuracy and time complexity have improved significantly. Keras, TensorFlow's high-level API for constructing deep learning models, was used for signal pre-processing and deep-learning-based algorithms. The suggested method was run on an Intel 3.5GHz Core i7, 7th Gen CPU with 8GB DDR4 RAM.

研究动机与目标

• 开发一种基于深度学习的表面肌电信号模式识别（DLPR）框架，以克服传统机器学习方法在分类复杂上肢运动时的局限性。
• 与现有的深度学习和手工特征提取方法相比，提高分类准确率并减少训练时间。
• 评估系统在多样化数据集（包括存在力变化、手臂位置变化以及截肢者数据）中的鲁棒性。
• 通过优化预处理方法，最小化训练时间并提升模型效率，以实现实时部署。

提出的方法

• 使用两种新型参数（MZP（均值零相位）和MPP（最大功率点））对原始sEMG信号进行预处理，以在保留神经信息的同时减小数据量。
• 利用短时傅里叶变换（STFT）将预处理后的信号转换为语谱图图像，以表征时频特性。
• 在语谱图图像上端到端训练深度卷积神经网络（CNN），自动学习判别性特征，从而消除人工特征工程。
• 使用Keras框架配合TensorFlow后端实现模型，可在标准硬件（Intel i7，8GB内存）上实现高效训练与部署。
• 在五组基准数据集上评估该框架：NinaPro DB1、DB2、DB3（包含截肢者数据），以及两组包含力变化和手臂位置变化的自定义数据集。
• 训练过程进行50个周期，采用早停法和超参数调优，以优化收敛性和性能。

实验结果

研究问题

• RQ1 基于深度学习的CNN框架是否能在表面肌电信号（sEMG）驱动的上肢运动识别中，实现比传统机器学习和手工特征方法更高的分类准确率？
• RQ2 所提出的预处理方法（MZP和MPP）对CNN模型的性能和训练效率有何影响？
• RQ3 该模型在多样化数据集（包括力变化、手臂位置变化以及截肢者受试者）上的泛化能力如何？
• RQ4 与现有深度学习模型相比，该框架是否能显著缩短训练时间，同时保持或提升分类准确率？

主要发现

• 该框架在NinaPro DB1的53个类别上实现了91.11%的分类准确率，优于以往最先进的方法。
• 在NinaPro DB2（49个类别）上，模型准确率达到89.45%，表明其在健康受试者中的强大性能。
• 在NinaPro DB3的截肢者数据上，模型准确率达到81.67%，显示出在DASH评分和肢体状况存在个体差异情况下的鲁棒性。
• 在力变化条件下，模型准确率达到95.67%，表明其对动态控制条件具有强适应能力。
• 在手臂位置变化条件下，模型达到最高准确率99.11%，凸显其区分细微运动变化的能力。
• 训练时间被最小化，最大数据集的模型训练时间在9分钟以内（约523秒），显著降低了计算开销。