[論文レビュー] EV-Action: Electromyography-Vision Multi-Modal Action Dataset

Lichen Wang, Bin Sun+3 more|arXiv (Cornell University)|Apr 20, 2019

Human Pose and Action Recognition参考文献 69被引用数 9

ひとこと要約

本稿では、70名の被験者から7,000サンプルにわたり、RGB、深度、高精度のViconベースのスケルトンデータ、および筋電図（EMG）信号を統合した新規の大規模マルチモーダル行動データセットであるEV-Actionを紹介する。本研究では、EMGが微細な動きや可視性が低い行動に対して、視覚モダリティとは異なった補足的情報を提供することを示した。TCN-FFTフレームワークを用いてEMGとスケルトンデータを融合した結果、トップ1正答率84.0％を達成し、視覚モダリティ単体よりも優れた性能を示した。

ABSTRACT

Multi-modal human action analysis is a critical and attractive research topic. However, the majority of the existing datasets only provide visual modalities (i.e., RGB, depth and skeleton). To make up this, we introduce a new, large-scale EV-Action dataset in this work, which consists of RGB, depth, electromyography (EMG), and two skeleton modalities. Compared with the conventional datasets, EV-Action dataset has two major improvements: (1) we deploy a motion capturing system to obtain high quality skeleton modality, which provides more comprehensive motion information including skeleton, trajectory, acceleration with higher accuracy, sampling frequency, and more skeleton markers. (2) we introduce an EMG modality which is usually used as an effective indicator in the biomechanics area, also it has yet to be well explored in motion related research. To the best of our knowledge, this is the first action dataset with EMG modality. The details of EV-Action dataset are clarified, meanwhile, a simple yet effective framework for EMG-based action recognition is proposed. Moreover, state-of-the-art baselines are applied to evaluate the effectiveness of all the modalities. The obtained result clearly shows the validity of EMG modality in human action analysis tasks. We hope this dataset can make significant contributions to human motion analysis, computer vision, machine learning, biomechanics, and other interdisciplinary fields.

研究の動機と目的

• 既存の行動データセットに非視覚的生理的信号が欠如している問題に対処するため、筋電図（EMG）を新たなモダリティとして導入すること。
• 視覚的および生理的信号を統合した大規模で、正確に同期され、完全にラベル付けされたマルチモーダルデータセットを提供すること。
• EMGが人間の行動分析において有効であることを評価し、視覚モダリティと補完的であることを実証すること。
• 統一された実験フレームワーク内で、各モダリティおよび融合戦略の最先端のベンチマークを確立すること。

提案手法

• 高精度な3次元スケルトンデータとRGB/深度モダリティを収集するため、Vicon光学追跡システム（100 Hz）とKinect-V2（30 Hz）を用いた。
• EMG信号は、1,000 Hzで測定されたDelsys Trignoセンサーを用いて、4チャンネル分の筋電活動を記録した。
• すべてのモダリティは70名の被験者が10種類の多様な行動を実行した7,000サンプルにわたり、時間的に同期され、フレーム単位でラベル付けされた。
• EMGとスケルトンデータを統合するためのシンプルで効果的なEMGベースの行動認識フレームワークを提案した。このフレームワークでは、TCNとFFTを用いた特徴融合手法を採用した。
• ベースラインモデル（TSN、WDMM、WHDMM、TCN）を個々のモダリティおよび統合モダリティで評価し、性能とモダリティの補完性を分析した。
• 特徴融合戦略には、EMGとスケルトン特徴を連結する手法と、FFTを用いて周波数ドメイン表現を抽出する手法を採用した。

実験結果

リサーチクエスチョン

• RQ1 EMG信号は、従来の視覚モダリティを超えて、人間の行動認識に意味的で補足的な情報を提供できるか？
• RQ2 Kinectベースのスケルトンデータと比較して、高精度のViconベースのスケルトンデータを組み込むことで、行動認識性能がどのように向上するか？
• RQ3 行動認識のためのEMG信号を、視覚的およびスケルトンモダリティと最適に統合する方法は何か？
• RQ4 時間領域表現と周波数領域表現（例：時間領域対周波数領域）の違いが、EMGベースの行動認識性能にどのように影響するか？

主な発見

• EMG信号は視覚モダリティよりも早く反応し、長期間にわたり持続するため、行動開始時刻と持続時間の独自の時間的手がかりを提供することが、サンプルフレームの可視化から明らかになった。
• TCN-FFT統合モデルは、EMGとViconスケルトンデータを統合した結果、トップ1正答率84.0％を達成し、スケルトンデータ単体の性能（82.6％）を上回った。
• 微細な動きや可視性が低い動き（例：Check Watch、Answer Phone）では、EMGの導入により顕著な性能向上が見られた。これは、EMGが神経筋活動に敏感であることを示している。
• スケルトンデータ単体の性能に比べ、EMGモダリティの導入により正答率が1.4ポイント向上した。これにより、EMGの有効性と補完性が裏付けられた。
• 視覚的特徴が乏しい行動（例：Wave Hand）では、RGBデータでの正答率はわずか19.8％であったが、EMGベースのモデルは、こうした挑戦的ケースに対しても高い潜在的性能を示した。
• ViconスケルトンとKinectスケルトンの性能差は、データ品質の違い、空間グラフ構築法の違い、およびViconデータにおける関節ポイントの欠落に起因するとされた。