[논문 리뷰] Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control

Mehrshad Zandigohar, Mo Han외 9명|arXiv (Cornell University)|2021. 04. 08.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 전기근전도도(Electromyography, EMG)와 시각 데이터(눈의 주시 및 RGB 영상)를 융합하여 보철 손 제어에서 抓握 의도 추론을 향상시키는 베이지안 증거 융합 프레임워크를 제안한다. 신경망 기반의 EMG 및 시각 분류기와 시간적 단계 분할을 통합함으로써, 이 방법은 도달 단계에서 평균 95.3%의 정확도를 달성하였으며, 개별 모odalities 대비 각각 13.66%(EMG)와 14.8%(시각) 높은 성능을 보였다.

ABSTRACT

Objective: For transradial amputees, robotic prosthetic hands promise to regain the capability to perform daily living activities. Current control methods based on physiological signals such as electromyography (EMG) are prone to yielding poor inference outcomes due to motion artifacts, muscle fatigue, and many more. Vision sensors are a major source of information about the environment state and can play a vital role in inferring feasible and intended gestures. However, visual evidence is also susceptible to its own artifacts, most often due to object occlusion, lighting changes, etc. Multimodal evidence fusion using physiological and vision sensor measurements is a natural approach due to the complementary strengths of these modalities. Methods: In this paper, we present a Bayesian evidence fusion framework for grasp intent inference using eye-view video, eye-gaze, and EMG from the forearm processed by neural network models. We analyze individual and fused performance as a function of time as the hand approaches the object to grasp it. For this purpose, we have also developed novel data processing and augmentation techniques to train neural network components. Results: Our results indicate that, on average, fusion improves the instantaneous upcoming grasp type classification accuracy while in the reaching phase by 13.66% and 14.8%, relative to EMG (81.64% non-fused) and visual evidence (80.5% non-fused) individually, resulting in an overall fusion accuracy of 95.3%. Conclusion: Our experimental data analyses demonstrate that EMG and visual evidence show complementary strengths, and as a consequence, fusion of multimodal evidence can outperform each individual evidence modality at any given time.

연구 동기 및 목표

• EMG의 운동 아티팩트 및 신호 이격 현상과 시각의 가림 또는 조명 문제 등 단일 모odal 기반 제어의 한계를 해결한다.
• 로봇 액추에이터 작동에 결정 시점이 중요한 도달 단계에서, 抓握 의도 추론의 강인성과 정확도를 향상시킨다.
• EMG와 시각 데이터의 상호보완적 강점을 활용하여 분류 성능을 향상시키는 융합 프레임워크를 개발한다.
• 복사-붙여넣기 증강 및 시간적 단계 분할과 같은 새로운 데이터 처리 및 증강 기법을 도입하여 모델의 일반화 능력을 향상시킨다.
• 모든 단계에서 다중모달 융합이 개별 모달보다 일관되게 뛰어난 성능을 보이며, 특히 도달 단계에서 가장 높은 성능 향상을 보임을 입증한다.

제안 방법

• 최대우도추정을 사용하여 EMG와 시각적 증거를 베이지안 증거 융합 프레임워크로 통합한다.
• 배경 일반화를 위해 복사-붙여넣기 증강 기법을 사용한 컨volutional 신경망(CNN)을 활용해 눈의 주시 및 RGB 영상에서의 그립 유형을 분류한다.
• 시간적 동역학을 유지하기 위해 별도의 신경망을 사용해 EMG 신호를 분류하고, 단계 탐지(휴식, 도달, 그립, 복귀)를 수행한다.
• 각 그립 시퀀스를 시간적 단계로 분할하여 서로 다른 단계에서의 근육 활동 패tern 간 혼동을 방지한다.
• 과거 결정과 시스템 제약 조건을 활용해 융합된 결정에 시간적 스무딩을 적용함으로써 정확도를 96.8%로 향상시킨다.
• 하체 절단 환자들이 일상적인 물체 상호작용을 수행하는 동안 수집한 동기화된 EMG 및 시각 데이터 세트를 기반으로 모델을 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 EMG와 시각의 다중모달 융합은 개별 모달 대비 그립 의도 분류 정확도를 얼마나 향상시키는가?
• RQ2 시간적 단계 분할은 EMG 기반의 그립 분류 성능에 어떤 영향을 미치는가?
• RQ3 도달-그립 사이클의 어느 단계에서 융합이 가장 큰 성능 향상을 제공하는가?
• RQ4 시각과 EMG 모달이 상호 보완적으로 작용하여 가림 또는 휴식기 동안 낮은 EMG 신호와 같은 제약 조건을 보완할 수 있는가?
• RQ5 결정 스무딩이 융합된 그립 예측의 강인성과 정확도를 얼마나 향상시키는가?

주요 결과

• EMG와 시각 증거 융합은 도달 단계에서 EMG 단독 사용 대비 13.66% 높은 정확도 향상을 보였다.
• 도달 단계에서 시각 단독 사용 대비 14.8% 높은 정확도 향상을 보이며, 뚜렷한 성능 향상을 입증했다.
• 전반적인 융합 정확도는 95.3%에 도달했으며, 제어 결정에 가장 중요한 도달 단계에서 최고의 정확도(95.3%)를 기록했다.
• 휴식 단계에서는 시각 분류기가 EMG보다 뛰어난 성능(90.69% 대 16.86%)을 보이며, 단계 간 상호보완적 강점이 뚜렷했다.
• 두 모달 모두 강력한 증거를 제공하는 상황에서도 융합이 정확도를 추가로 향상시켜, 개별 모달 성능을 초월하는 강인성을 입증했다.
• 융합 출력에 결정 스무딩을 적용함으로써 평균 정확도가 96.8%로 상승했으며, 시간적 일관성이 실생활 적용 가능성 향상에 기여함을 시사했다.