[论文解读] Deep Learning for Electromyographic Hand Gesture Signal Classification Using Transfer Learning

Ulysse Côté‐Allard, Cheikh Latyr Fall+6 more|arXiv (Cornell University)|Jan 10, 2018

Muscle activation and electromyography studies被引用 6

一句话总结

本论文提出了一种基于深度卷积神经网络（ConvNets）的迁移学习框架，通过在多个用户聚合的肌电信号（EMG）数据上进行预训练，以提升表面肌电信号（sEMG）手势识别的性能。该方法采用原始EMG信号、频谱图和连续小波变换（CWT）作为输入，在NinaPro DB5数据集上，17名受试者的手势识别准确率达到98.31%，10名受试者达到68.98%，显著优于非迁移学习基线方法。

ABSTRACT

In recent years, deep learning algorithms have become increasingly more prominent for their unparalleled ability to automatically learn discriminant features from large amounts of data. However, within the field of electromyography-based gesture recognition, deep learning algorithms are seldom employed as they require an unreasonable amount of effort from a single person, to generate tens of thousands of examples. This work's hypothesis is that general, informative features can be learned from the large amounts of data generated by aggregating the signals of multiple users, thus reducing the recording burden while enhancing gesture recognition. Consequently, this paper proposes applying transfer learning on aggregated data from multiple users, while leveraging the capacity of deep learning algorithms to learn discriminant features from large datasets. Two datasets comprised of 19 and 17 able-bodied participants respectively (the first one is employed for pre-training) were recorded for this work, using the Myo Armband. A third Myo Armband dataset was taken from the NinaPro database and is comprised of 10 able-bodied participants. Three different deep learning networks employing three different modalities as input (raw EMG, Spectrograms and Continuous Wavelet Transform (CWT)) are tested on the second and third dataset. The proposed transfer learning scheme is shown to systematically and significantly enhance the performance for all three networks on the two datasets, achieving an offline accuracy of 98.31% for 7 gestures over 17 participants for the CWT-based ConvNet and 68.98% for 18 gestures over 10 participants for the raw EMG-based ConvNet. Finally, a use-case study employing eight able-bodied participants suggests that real-time feedback allows users to adapt their muscle activation strategy which reduces the degradation in accuracy normally experienced over time.

研究动机与目标

• 通过利用用户间数据的迁移学习，减少sEMG手势识别中每位用户的采集数据量负担。
• 提升深度学习模型在sEMG应用中典型的低数据量场景下的泛化能力与鲁棒性。
• 评估在迁移学习框架下，不同EMG信号表示形式（原始信号、频谱图、CWT）的性能表现。
• 在新采集的36名健康受试者数据集和公开的NinaPro DB5数据集上验证所提方法的有效性。
• 研究实时反馈对长期在线分类性能的影响。

提出的方法

• 使用原始EMG、频谱图或CWT表示形式，在19名健康受试者的聚合EMG数据上对深度ConvNet进行预训练。
• 通过源-目标网络分支间元素相加的共享特征学习架构，在目标受试者的数据上微调预训练模型。
• 采用三分支网络结构，其中源网络在多用户数据上训练，目标网络通过迁移学习适配单个用户。
• 采用带有批量归一化和ReLU激活函数的残差网络（ResNet）架构，以提升训练稳定性和特征学习能力。
• 通过使用预训练的源网络权重初始化目标网络，并在有限的目标数据上进行微调，实现领域自适应。
• 通过20次独立运行评估性能，以考虑算法随机性，并利用Wilcoxon符号秩检验确保统计显著性。

实验结果

研究问题

• RQ1 当每位用户的训练数据有限时，迁移学习是否能显著提升深度学习模型在sEMG手势识别中的性能？
• RQ2 在结合迁移学习进行手势分类时，哪种EMG信号表示形式——原始信号、频谱图或CWT——表现最佳？
• RQ3 所提出的迁移学习方案是否能泛化到预训练数据集中未包含的新用户和新手势？
• RQ4 实时反馈如何影响基于迁移学习的sEMG分类器的长期在线性能？
• RQ5 所提方法是否能减少对大量重新校准的需求，并在实际部署中随时间推移提升鲁棒性？

主要发现

• 经迁移学习增强的ConvNet在17名健康受试者中，使用CWT输入对7种手势实现平均离线准确率98.31%，显著优于非增强模型。
• 在NinaPro DB5数据集（18种手势，10名受试者）上，基于原始EMG的ConvNet在迁移学习后达到68.98%的准确率，表明对未见手势具有泛化能力。
• Wilcoxon符号秩检验确认，迁移学习带来的性能提升在全部20次训练重复中均具有统计显著性（p < 0.05）。
• 在实际应用场景中，实时反馈使14天内性能下降减少，表明用户适应能力提升，分类器可靠性得以维持。
• 模型性能从离线的98.31%下降至在线的95.42%，主要由于未记录的手势转换和受试者反应延迟。
• 所提方法在用户和手势间具有泛化能力，表明从多用户数据中学到的特征足以适用于新受试者和未见手势。