[论文解读] Deep Learning for Electromyographic Hand Gesture Signal Classification by Leveraging Transfer Learning

Ulysse Côté‐Allard, Cheikh Latyr Fall+6 more|arXiv (Cornell University)|Jan 10, 2018

Muscle activation and electromyography studies参考文献 67被引用 25

一句话总结

本文提出一种迁移学习方法，通过在多个用户聚合的肌电信号（EMG）数据上预训练深度神经网络，再在单个用户上微调，以提升肌电信号手部手势分类性能。采用CWT-ConvNet在7种手势上达到98.31%的准确率，采用原始EMG-ConvNet在18种手势上达到68.98%的准确率，显著减少了数据采集负担，同时提升了性能。

ABSTRACT

In recent years, deep learning algorithms have become increasingly more prominent for their unparalleled ability to automatically learn discriminant features from large amounts of data. However, within the field of electromyography-based gesture recognition, deep learning algorithms are seldom employed as they require an unreasonable amount of effort from a single person, to generate tens of thousands of examples. This work's hypothesis is that general, informative features can be learned from the large amounts of data generated by aggregating the signals of multiple users, thus reducing the recording burden while enhancing gesture recognition. Consequently, this paper proposes applying transfer learning on aggregated data from multiple users, while leveraging the capacity of deep learning algorithms to learn discriminant features from large datasets. Two datasets comprised of 19 and 17 able-bodied participants respectively (the first one is employed for pre-training) were recorded for this work, using the Myo Armband. A third Myo Armband dataset was taken from the NinaPro database and is comprised of 10 able-bodied participants. Three different deep learning networks employing three different modalities as input (raw EMG, Spectrograms and Continuous Wavelet Transform (CWT)) are tested on the second and third dataset. The proposed transfer learning scheme is shown to systematically and significantly enhance the performance for all three networks on the two datasets, achieving an offline accuracy of 98.31% for 7 gestures over 17 participants for the CWT-based ConvNet and 68.98% for 18 gestures over 10 participants for the raw EMG-based ConvNet. Finally, a use-case study employing eight able-bodied participants suggests that real-time feedback allows users to adapt their muscle activation strategy which reduces the degradation in accuracy normally experienced over time.

研究动机与目标

• 通过利用多个用户之间的共享特征，减少基于EMG的手势识别的数据采集负担。
• 探究在聚合的多用户EMG数据上应用迁移学习是否能提升单个用户的分类性能。
• 在深度学习框架内评估不同输入模态（原始EMG、频谱图和CWT）的有效性。
• 评估实时反馈对用户适应过程中分类准确率随时间保持稳定的影响。
• 证明在大规模多用户数据集上进行预训练，可实现仅需极少个体数据采集的高性能手势识别。

提出的方法

• 使用Myo臂环采集19名健康受试者的大量数据，对深度学习模型进行预训练，以学习通用的EMG特征。
• 在两个独立数据集上对预训练模型进行微调：一个包含17名受试者，另一个来自NinaPro数据库，包含10名受试者。
• 采用三种输入模态——原始EMG、频谱图和连续小波变换（CWT）——以评估特征表示的有效性。
• 针对每种模态，使用三种不同的深度学习架构（ConvNets）进行端到端训练，以分类手部手势。
• 通过使用从聚合多用户数据集中学习到的特征初始化模型，再将其适应到单个用户，实现迁移学习。
• 针对八名健康受试者开展实时反馈用例研究，以评估长期准确率的稳定性。

实验结果

研究问题

• RQ1 在多用户EMG数据上应用迁移学习是否能显著提升单个用户的姿态分类准确率？
• RQ2 不同输入表示方式（原始EMG、频谱图和CWT）对深度学习模型在基于EMG的手势识别中的性能有何影响？
• RQ3 在手势训练过程中使用实时反馈是否能缓解分类准确率随时间下降的问题？
• RQ4 在大规模多用户数据上进行预训练，能在多大程度上减少对个体数据采集的需求？
• RQ5 迁移学习带来的性能提升是否在不同手势数量和用户群体中保持一致？

主要发现

• 该迁移学习方法在17名受试者中对7种手部手势的离线分类中达到98.31%的峰值准确率，使用CWT-ConvNet模型。
• 在10名受试者的18种手势数据集上，原始EMG-ConvNet模型达到68.98%的准确率，证明了在复杂手势集合中迁移学习的可行性。
• 所有三种深度学习网络在使用迁移学习时，相比从零开始训练，均表现出系统性且显著的性能提升。
• 用例研究显示，实时反馈使用户能够调整其肌肉激活策略，从而减轻了随时间推移的准确率下降。
• CWT模态在分类准确率方面优于原始EMG和频谱图，凸显其在捕捉具有判别性的EMG特征方面的适用性。
• 在多个用户聚合数据上进行预训练，显著减少了每个个体所需的数据采集量，使大规模EMG手势识别更具可行性。