[논문 리뷰] Virtual Reality to Study the Gap Between Offline and Real-Time EMG-based Gesture Recognition

Ulysse Côté‐Allard, Gabriel Gagnon-Turcotte외 5명|arXiv (Cornell University)|2019. 12. 16.

Muscle activation and electromyography studies참고 문헌 48인용 수 7

한 줄 요약

이 논문은 sEMG 기반 제스처 인식에서의 네 가지 주요 동적 요인—제스처 강도, 사지 위치, 전극 이동, 신호 일시적 변화—를 연구하기 위해 가상현실(VR) 기반 실시간 실험 프로토콜을 제안한다. 리듬 감지 장치인 리프 모션을 사용한 피드백을 통해 재사용 가능하고 편향이 없는 온라인 데이터셋을 생성할 수 있으며, TADANN라는 전이학습 기반 모델을 도입하여 장기적 제스처 분류에서 피취조정보다 유의하게 뛰어난 성능을 보인다(p<0.05).

ABSTRACT

Within sEMG-based gesture recognition, a chasm exists in the literature between offline accuracy and real-time usability of a classifier. This gap mainly stems from the four main dynamic factors in sEMG-based gesture recognition: gesture intensity, limb position, electrode shift and transient changes in the signal. These factors are hard to include within an offline dataset as each of them exponentially augment the number of segments to be recorded. On the other hand, online datasets are biased towards the sEMG-based algorithms providing feedback to the participants, limiting the usability of such datasets as benchmarks. This paper proposes a virtual reality (VR) environment and a real-time experimental protocol from which the four main dynamic factors can more easily be studied. During the online experiment, the gesture recognition feedback is provided through the leap motion camera, enabling the proposed dataset to be re-used to compare future sEMG-based algorithms. 20 able-bodied persons took part in this study, completing three to four sessions over a period spanning between 14 and 21 days. Finally, TADANN, a new transfer learning-based algorithm, is proposed for long term gesture classification and significantly (p<0.05) outperforms fine-tuning a network.

연구 동기 및 목표

• 제스처 인식에서 오프라인 sEMG 정확도와 실시간 사용 가능성 사이의 지속적인 격차를 해소한다.
• 오프라인 데이터셋의 한계를 극복하여 전극 이동이나 사지 위치 변화와 같은 동적 신호 변동성을 포착하지 못하는 문제를 해결한다.
• 데이터 수집 과정에서 알고리즘 피드백으로 인한 온라인 데이터셋의 편향을 완화한다.
• VR을 활용한 재사용 가능하고 실시간인 실험 프레임워크를 개발하여 동적 sEMG 요인을 연구한다.
• 세션과 참가자 간에 일반화 가능한 견고한 장기적 제스처 분류 모델을 제안한다.

제안 방법

• 제어된 동적 요인을 갖춘 실시간 sEMG 실험을 수행하기 위해 VR 환경을 설계한다.
• 온라인 시험 동안 알고리즘 편향을 방지하기 위해 리프 모션을 피드백 수단으로 사용한다.
• 14~21일에 걸쳐 20명의 정상 기능을 가진 참가자로부터 3~4회의 세션에 걸쳐 데이터를 수집하여 장기적 변동성을 포착한다.
• sEMG 시퀀스 모델링을 위한 전이학습 기반 딥 뉴럴 네트워크 아키텍처인 TADANN을 도입한다.
• TADANN을 소스 도메인에서 학습하고, 전체 재학습 없이도 새로운 참가자나 세션에 적응시킨다.
• 세션과 참가자 간의 특징 분포를 정렬하기 위해 도메인 적응 기법을 사용하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 제스처 강도, 사지 위치, 전극 이동, 신호 일시적 변화와 같은 동적 요인이 실시간 sEMG 인식 성능에 얼마나 큰 영향을 미치는가?
• RQ2 피드백 편향을 유발하지 않고 VR 기반 실시간 프로토콜이 이러한 동적 요인을 효과적으로 캡처하고 연구할 수 있는가?
• RQ3 제안된 TADANN 모델은 여러 세션에 걸쳐 표준 피취조정과 비교해 장기적 sEMG 제스처 분류에서 어떻게 성능을 냈는가?
• RQ4 이러한 비편향적이고 실시간인 성격 덕분에 수집된 데이터셋이 향후 sEMG 기반 알고리즘의 벤치마킹에 재사용 가능한가?

주요 결과

• VR 기반 프로토콜은 최소한의 편향으로 sEMG의 네 가지 주요 동적 요인을 성공적으로 캡처하여 재사용 가능한 실시간 데이터 수집을 가능하게 했다.
• TADANN은 장기적 제스처 분류에서 표준 피취조정보다 뛰어난 성능을 보였으며, p값 < 0.05로 통계적으로 유의미한 결과를 보였다.
• 20명의 참가자로부터 14~21일에 걸쳐 수집된 제안된 데이터셋은 높은 변동성과 현실성을 보이며, 벤치마킹에 적합하다.
• 리프 모션을 사용한 피드백 덕분에 알고리즘 중립성이 확보되어 향후 sEMG 모델 간 공정한 비교에 적합한 데이터셋이 되었다.
• TADANN은 세션과 참가자 간에 더 나은 일반화 성능을 달성하여 시간이 지남에 따라 성능 저하를 줄였다.
• 본 연구는 전극 이동과 신호 일시적 변화와 같은 동적 요인이 실시간 인식에 측정 가능한 부정적 영향을 미치며, 오프라인 데이터셋은 이를 반영하지 못한다는 점을 확인했다.