[논문 리뷰] Memory-Efficient, Limb Position-Aware Hand Gesture Recognition using Hyperdimensional Computing

Andy Zhou, Rikky Muller외 1명|arXiv (Cornell University)|2021. 03. 09.

Ferroelectric and Negative Capacitance DevicesEngineering참고 문헌 29인용 수 18

한 줄 요약

이 논문은 메모리 효율적이고 사지 자세 인식 기반의 수작업 인식 시스템을 제안하며, 고차원(HD) 계산을 사용하여 EMG와 가속도계 신호를 융합하여 메모리 용량을 늘리지 않고 이중 단계 분류를 모방한다. 가속도계 데이터를 직교적 맥락 벡터로 인코딩함으로써, 이 방법은 93.34%의 분류 정확도를 달성하였으며, EMG 전용 모델 대비 17.79% 높고, 전통적인 이중 단계 아키텍처 대비 8배 더 적은 메모리를 사용한다.

ABSTRACT

Electromyogram (EMG) pattern recognition can be used to classify hand gestures and movements for human-machine interface and prosthetics applications, but it often faces reliability issues resulting from limb position change. One method to address this is dual-stage classification, in which the limb position is first determined using additional sensors to select between multiple position-specific gesture classifiers. While improving performance, this also increases model complexity and memory footprint, making a dual-stage classifier difficult to implement in a wearable device with limited resources. In this paper, we present sensor fusion of accelerometer and EMG signals using a hyperdimensional computing model to emulate dual-stage classification in a memory-efficient way. We demonstrate two methods of encoding accelerometer features to act as keys for retrieval of position-specific parameters from multiple models stored in superposition. Through validation on a dataset of 13 gestures in 8 limb positions, we obtain a classification accuracy of up to 93.34%, an improvement of 17.79% over using a model trained solely on EMG. We achieve this while only marginally increasing memory footprint over a single limb position model, requiring $8\ imes$ less memory than a traditional dual-stage classification architecture.

연구 동기 및 목표

• 사지 자세 변화로 인한 EMG 기반 수작업 인식의 신뢰성 저하 문제를 해결하기 위해.
• 각 사지 자세에 대해 별도의 모델을 사용하는 이중 단계 분류 아키텍처의 메모리 오버헤드를 줄이기 위해.
• 제한된 계산 및 메모리 자원을 가진 웨어러블 기기에서 맥락 인식 기반 수작업 인식을 가능하게 하기 위해.
• 고차원 공간에서 가속도계 유도 맥락 벡터를 사용해 위치별 수작업 분류기의 초합성(superposition)을 위한 방법을 개발하기 위해.
• 다중 맥락 HD 분류를 위한 두 가지 가속도계 기반 맥락 인코딩 방법의 성능을 평가하기 위해.

제안 방법

• 고차원(HD) 계산을 사용하여 EMG 특징과 수작업 클래스를 고차원 히퍼벡터(HV)로 표현함으로써 효율적인 최근접 이웃 분류를 가능하게 한다.
• 가속도계 신호는 연속 항목 메모리(CIM) 또는 직교 인코딩을 사용하여 서로 다른 사지 자세를 나타내는 맥락 벡터로 인코딩된다.
• 맥락 벡터는 단일 HD 모델 내에 초합성된 상태로 저장된 위치별 수작업 분류기 프로토타입을 검색하는 키로 사용된다.
• 이 방법은 맥락 기반 직교화를 활용하며, 서로 다른 사지 자세에 대한 직교 HV가 여러 수작업 모델의 초합성 시 간섭을 최소화한다.
• 두 가지 인코딩 전략을 평가함: 하나는 사전 정의된 사지 자세를 사용한 직교 맥락 벡터, 다른 하나는 연속적인 가속도계 인코딩을 최적화하기 위해 유전 알고리즘을 사용하는 방법.
• 시스템은 추론 시점에 EMG와 가속도계 데이터를 통합하며, 맥락 벡터를 사용해 초합성된 프로토타입에서 적절한 수작업 분류기를 동적으로 선택한다.

실험 결과

연구 질문

• RQ1 HD 계산을 사용하여 다중 사지 자세 수작업 인식에서 메모리 효율적으로 이중 단계 분류 성능을 달성할 수 있는가?
• RQ2 맥락 기반 직교화는 다중 맥락 HD 분류에서 분류 마진과 정확도를 어떻게 향상시키는가?
• RQ3 사전 정의된 직교 맥락 벡터와 연속적인 가속도계 기반 맥락 인코딩 간의 성능 트레이드오프는 어떠한가?
• RQ4 가속도계 신호만으로도 초합성된 수작업 모델에서 간섭을 줄이는 데 효과적인 맥락 벡터를 생성할 수 있는가?
• RQ5 기존의 이중 단계 모델 대비 메모리 오버헤드를 최소화하면서도 다양한 사지 자세에서 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 8개의 사지 자세에서 13가지 수작업에 대해 93.34%의 분류 정확도를 달성하였으며, EMG 전용 모델 대비 17.79% 향상되었다.
• 단일 사지 자세 모델 대비 메모리 용량 증가가 극히 미미했으며, 기존의 전통적 이중 단계 분류 아키텍처 대비 8배 더 적은 메모리를 사용했다.
• 연속 항목 메모리(CIM)를 사용한 가속도계 기반 맥락 인코딩은 프로토타입 직접 초합성 대비 평균 13.61% 높은 정확도를 달성했다.
• 직교 맥락 인코딩 방법이 연속 인코딩보다 더 높은 성능을 보였지만, 둘 다 사지 자세 인식 없이 훈련된 베이스라인 모델보다 뛰어났다.
• 이 방법은 사지 자세 변화에 대해 뛰어난 내성성을 보였으며, 모든 8개 자세에서 일관된 정확도 향상이 있었고, 특히 0도와 4도처럼 겹치거나 유사한 자세에서 두드러졌다.
• 가속도계 데이터를 HD 계산에 통합함으로써 별도의 사지 자세 분류 없이도 동적이고 맥락 인식 기반 추론이 가능해졌으며, 이는 모델 복잡성과 구현 오버헤드를 감소시켰다.