[논문 리뷰] EV-Action: Electromyography-Vision Multi-Modal Action Dataset

Lichen Wang, Bin Sun외 3명|arXiv (Cornell University)|2019. 04. 20.

Human Pose and Action Recognition참고 문헌 69인용 수 9

한 줄 요약

이 논문은 RGB, 깊이, 고정밀도 Vicon 기반 골격 데이터, 그리고 70명의 참가자로부터 7,000개의 샘플을 포함하는 새로운 대규모 다중모달 행동 데이터셋인 EV-Action을 소개한다. 연구는 EMG가 미세하거나 시각적으로 잘 드러나지 않는 행동에 대해 고유하고 보완적인 정보를 제공함을 입증한다. TCN-FFT 프레임워크를 사용해 골격 데이터와 융합했을 때, EMG는 시각적 모달리티만을 사용할 경우보다 뛰어난 성능을 보이며, 상위 1위 정확도 84.0%를 달성한다.

ABSTRACT

Multi-modal human action analysis is a critical and attractive research topic. However, the majority of the existing datasets only provide visual modalities (i.e., RGB, depth and skeleton). To make up this, we introduce a new, large-scale EV-Action dataset in this work, which consists of RGB, depth, electromyography (EMG), and two skeleton modalities. Compared with the conventional datasets, EV-Action dataset has two major improvements: (1) we deploy a motion capturing system to obtain high quality skeleton modality, which provides more comprehensive motion information including skeleton, trajectory, acceleration with higher accuracy, sampling frequency, and more skeleton markers. (2) we introduce an EMG modality which is usually used as an effective indicator in the biomechanics area, also it has yet to be well explored in motion related research. To the best of our knowledge, this is the first action dataset with EMG modality. The details of EV-Action dataset are clarified, meanwhile, a simple yet effective framework for EMG-based action recognition is proposed. Moreover, state-of-the-art baselines are applied to evaluate the effectiveness of all the modalities. The obtained result clearly shows the validity of EMG modality in human action analysis tasks. We hope this dataset can make significant contributions to human motion analysis, computer vision, machine learning, biomechanics, and other interdisciplinary fields.

연구 동기 및 목표

• 기존 인간 행동 데이터셋에서 비시각적 생리적 신호의 부족을 해결하기 위해 전기근육활동도(EMG)를 새로운 모달리티로 도입한다.
• 시각적 및 생리적 신호를 융합한 대규모, 정확히 정렬된, 완전히 레이블링된 다중모달 데이터셋을 제공한다.
• EMG가 인간 행동 분석에서 효과적인지 평가하고, 시각적 모달리티와의 보완성 여부를 입증한다.
• 통합된 실험 프레임워크 내에서 각 모달리티 및 융합 전략에 대해 최신 기술 수준의 벤치마크를 설정한다.

제안 방법

• 고정밀 3D 골격 데이터와 RGB/깊이 모달리티를 캡처하기 위해 Vicon 광학 추적 시스템(100 Hz)과 Kinect-V2(30 Hz)를 사용하여 데이터셋을 수집했다.
• Delsys Trigno 센서를 사용해 1,000 Hz로 EMG 신호를 기록하여 네 개 채널의 근육 전기 활동을 측정했다.
• 모든 모달리티는 70명의 참가자가 10종류의 다양한 동작을 수행한 7,000개 샘플에 걸쳐 시간적으로 정렬되고 프레임 단위로 레이블링되었다.
• EMG 기반 행동 인식 프레임워크를 단순하면서도 효과적으로 제안하였으며, TCN와 FFT 기반 특징 융합을 통해 EMG와 골격 데이터를 융합했다.
• 기본 모델(TSN, WDMM, WHDMM, TCN)을 개별 및 융합된 모달리티에 대해 평가하여 성능과 모달리티 간 보완성 여부를 분석했다.
• 특징 융합 전략으로는 EMG를 골격 특징과 연결하고, FFT를 적용해 주파수 도메인 표현을 추출하여 시간 모델링 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 EMG 신호는 전통적인 시각적 모달리티를 초월해 인간 행동 인식에 의미 있고 보완적인 정보를 제공할 수 있는가?
• RQ2 고정밀도 Vicon 기반 골격 데이터를 포함함으로써, Kinect 기반 골격 데이터에 비해 행동 인식 성능이 어떻게 향상되는가?
• RQ3 행동 인식을 위해 EMG 신호를 시각적 및 골격 모달리티와 최적으로 융합하는 방법은 무엇인가?
• RQ4 다양한 신호 표현 방식(예: 시간 도메인 대비 주파수 도메인)은 EMG 기반 행동 인식 성능에 어떤 영향을 미치는가?

주요 결과

• EMG 신호는 시각적 모달리티보다 일찍 반응하고 오랫동안 지속되어 행동 시작 및 지속 시간에 대해 고유한 시간적 단서를 제공한다. 샘플 프레임에서 이를 시각화할 수 있다.
• TCN-FFT 융합 모델은 EMG와 Vicon 골격 데이터를 융합했을 때 상위 1위 정확도 84.0%를 달성하였으며, 골격 데이터만을 사용한 경우(82.6%)보다 뛰어난 성능을 보였다.
• 미세하거나 시각적으로 잘 드러나지 않는 동작(예: 시계 확인, 전화 응답)은 EMG를 통해 뚜렷한 성능 향상을 보였으며, 이는 신경근육 활동에 대한 민감도를 시사한다.
• 골격 데이터만 사용할 경우 대비 EMG 모달리티가 정확도를 1.4%p 향상시켜 효과성과 보완성을 입증했다.
• 시각적 특징이 뚜렷하지 않은 동작인 손 흔들기(Wave Hand)는 RGB 기반 모델에서 정확도가 단지 19.8%에 그쳤지만, EMG 기반 모델은 이러한 도전적인 케이스에 강력한 잠재력을 보였다.
• Vicon 골격 데이터와 Kinect 골격 데이터 간 성능 격차는 데이터 품질의 차이, 공간 그래프 구성 방식의 차이, Vicon 데이터에서의 결측 관절점 등에 기인한다.