[论文解读] EV-Action: Electromyography-Vision Multi-Modal Action Dataset

Lichen Wang, Bin Sun+3 more|arXiv (Cornell University)|Apr 20, 2019

Human Pose and Action Recognition参考文献 69被引用 9

一句话总结

该论文提出了EV-Action，一个新颖的大规模多模态动作数据集，结合了RGB、深度、高精度Vicon骨骼数据以及来自70名受试者的肌电图（EMG）信号，共7,000个样本。研究证明，EMG为动作识别提供了独特且互补的信息，尤其在细微或低可见度动作中表现突出，当使用TCN-FFT框架将EMG与骨骼数据融合时，实现了84.0%的top-1准确率，优于仅使用视觉模态的表现。

ABSTRACT

Multi-modal human action analysis is a critical and attractive research topic. However, the majority of the existing datasets only provide visual modalities (i.e., RGB, depth and skeleton). To make up this, we introduce a new, large-scale EV-Action dataset in this work, which consists of RGB, depth, electromyography (EMG), and two skeleton modalities. Compared with the conventional datasets, EV-Action dataset has two major improvements: (1) we deploy a motion capturing system to obtain high quality skeleton modality, which provides more comprehensive motion information including skeleton, trajectory, acceleration with higher accuracy, sampling frequency, and more skeleton markers. (2) we introduce an EMG modality which is usually used as an effective indicator in the biomechanics area, also it has yet to be well explored in motion related research. To the best of our knowledge, this is the first action dataset with EMG modality. The details of EV-Action dataset are clarified, meanwhile, a simple yet effective framework for EMG-based action recognition is proposed. Moreover, state-of-the-art baselines are applied to evaluate the effectiveness of all the modalities. The obtained result clearly shows the validity of EMG modality in human action analysis tasks. We hope this dataset can make significant contributions to human motion analysis, computer vision, machine learning, biomechanics, and other interdisciplinary fields.

研究动机与目标

• 为解决现有动作数据集中缺乏非视觉生理信号的问题，引入肌电图（EMG）作为新模态。
• 提供一个大规模、时间对齐且完全标注的多模态数据集，整合视觉与生理信号，以提升动作识别性能。
• 评估EMG在人体动作分析中的有效性，并证明其与视觉模态的互补性。
• 在统一的实验框架中，为各模态及融合策略建立最先进基准。

提出的方法

• 使用Vicon光学追踪系统（100 Hz）和Kinect-V2（30 Hz）采集高精度3D骨骼数据和RGB/深度模态。
• 使用Delsys Trigno传感器以1,000 Hz的采样率记录EMG信号，捕捉四个通道的肌肉电活动。
• 所有模态在70名受试者执行10种多样化动作的7,000个样本中实现时间对齐与帧级标注。
• 提出了一种简单但高效的基于EMG的动作识别框架，采用TCN与FFT特征融合方法，将EMG与骨骼数据结合。
• 在单一模态与融合模态上评估基线模型（TSN、WDMM、WHDMM、TCN），以分析性能与模态互补性。
• 特征融合策略包括将EMG与骨骼特征拼接，并应用FFT提取频域表示，以提升时序建模能力。

实验结果

研究问题

• RQ1 EMG信号是否能为人体动作识别提供超越传统视觉模态的有意义且互补的信息？
• RQ2 与基于Kinect的骨骼数据相比，高精度Vicon骨骼数据在动作识别性能上带来了哪些提升？
• RQ3 将EMG信号与视觉及骨骼模态进行融合的最优方式是什么？
• RQ4 不同信号表示形式（如时域与频域）如何影响基于EMG的动作识别性能？

主要发现

• EMG信号在动作开始前更早响应且持续时间更长，为动作起始与持续时间提供了独特的时序线索，如样本帧所示。
• 当EMG与Vicon骨骼数据结合时，TCN-FFT融合模型实现了84.0%的top-1准确率，优于仅使用骨骼数据的82.6%。
• 对于细微或低可见度动作（如“查看手表”、“接电话”），EMG带来了显著的性能提升，表明其对神经肌肉活动的高度敏感性。
• 与仅使用骨骼数据相比，EMG模态使识别准确率提升了1.4个百分点，验证了其有效性与互补性。
• 对于视觉特征不明显的动作“挥手”（Wave Hand），仅使用RGB时准确率仅为19.8%，但基于EMG的模型在该类挑战性动作中表现出强潜力。
• Vicon与Kinect骨骼数据之间的性能差距归因于数据质量差异、空间图构建方式不同以及Vicon数据中存在缺失关节点。