[论文解读] Virtual Reality to Study the Gap Between Offline and Real-Time EMG-based Gesture Recognition

Ulysse Côté‐Allard, Gabriel Gagnon-Turcotte+5 more|arXiv (Cornell University)|Dec 16, 2019

Muscle activation and electromyography studies参考文献 48被引用 7

一句话总结

本文提出了一种基于虚拟现实（VR）的实时实验协议，用于研究表面肌电信号（sEMG）手势识别中的四个主要动态因素——手势强度、肢体位置、电极位移和信号瞬态。通过使用Leap Motion进行反馈，该方法实现了可重复使用、无偏见的在线数据集，并提出了TADANN模型，一种迁移学习模型，在长期手势分类中显著优于微调方法（p<0.05）。

ABSTRACT

Within sEMG-based gesture recognition, a chasm exists in the literature between offline accuracy and real-time usability of a classifier. This gap mainly stems from the four main dynamic factors in sEMG-based gesture recognition: gesture intensity, limb position, electrode shift and transient changes in the signal. These factors are hard to include within an offline dataset as each of them exponentially augment the number of segments to be recorded. On the other hand, online datasets are biased towards the sEMG-based algorithms providing feedback to the participants, limiting the usability of such datasets as benchmarks. This paper proposes a virtual reality (VR) environment and a real-time experimental protocol from which the four main dynamic factors can more easily be studied. During the online experiment, the gesture recognition feedback is provided through the leap motion camera, enabling the proposed dataset to be re-used to compare future sEMG-based algorithms. 20 able-bodied persons took part in this study, completing three to four sessions over a period spanning between 14 and 21 days. Finally, TADANN, a new transfer learning-based algorithm, is proposed for long term gesture classification and significantly (p<0.05) outperforms fine-tuning a network.

研究动机与目标

• 解决离线sEMG准确率与实时可用性之间长期存在的差距。
• 克服离线数据集的局限性，后者无法捕捉电极位移和肢体位置变化等动态信号变化。
• 缓解数据采集过程中因算法反馈导致的在线数据集偏差。
• 开发一种基于VR的可重复使用、实时的实验框架，用于研究动态sEMG因素。
• 提出一种鲁棒的长期手势分类模型，可在不同会话和受试者间实现良好泛化。

提出的方法

• 设计一个VR环境，以在受控动态因素下开展实时sEMG实验。
• 在在线试验期间使用Leap Motion作为反馈机制，避免数据采集过程中的算法偏差。
• 在14至21天内，从20名健康受试者中收集3至4个会话的数据，以捕捉长期变异。
• 提出TADANN，一种基于迁移学习的深度神经网络架构，用于sEMG序列建模。
• 在源域上训练TADANN，并在无需完全重新训练的情况下，将其适应到新受试者或会话。
• 使用领域自适应技术对不同会话和受试者之间的特征分布进行对齐，以提升泛化能力。

实验结果

研究问题

• RQ1 手势强度、肢体位置、电极位移和信号瞬态等动态因素在多大程度上会降低实时sEMG识别性能？
• RQ2 基于VR的实时协议能否在不引入反馈偏差的情况下，有效捕捉并研究这些动态因素？
• RQ3 所提出的TADANN模型在多个会话中的长期sEMG手势分类中，与标准微调方法相比表现如何？
• RQ4 由于其无偏见、实时的特性，所收集的数据集是否可被重复用于未来sEMG算法的基准测试？

主要发现

• 基于VR的协议成功捕捉了sEMG中的四个主要动态因素，偏差极小，实现了可重复使用的实时数据采集。
• TADANN在长期手势分类中显著优于标准微调方法，p值<0.05表明具有统计学显著性。
• 所提出的数据库在14至21天内、20名受试者中收集，表现出高度的变异性和真实性，适用于基准测试。
• 使用Leap Motion进行反馈确保了算法中立性，使数据集适用于未来sEMG模型的公平比较。
• TADANN在不同会话和受试者间实现了更好的泛化能力，有效减少了随时间推移的性能下降。
• 本研究证实，电极位移和信号瞬态等动态因素对实时识别具有可测量的负面影响，而离线数据集无法体现这一点。