[논문 리뷰] Exploring Embedding Methods in Binary Hyperdimensional Computing: A Case Study for Motor-Imagery based Brain-Computer Interfaces

Michael Hersche, José del R. Millán외 2명|arXiv (Cornell University)|2018. 12. 13.

Ferroelectric and Negative Capacitance Devices참고 문헌 53인용 수 12

한 줄 요약

이 논문은 운동 상상 뇌-컴퓨터 인터페이스를 위한 이진 초차원(HD) 공간으로 EEG 신호를 매핑하기 위해 랜덤 프로젝션, 체온계/그레이 코드화, 그리고 엔드 투 엔드로 학습된 프로젝션과 같은 여러 임bedding 방법을 제안하고 평가한다. 학습된 HD 표현 방식이 선형 SVM보다 89.9배 빠른 학습 속도와 58.7배 낮은 에너지 소비를 기록하면서도 상태 최고 수준의 정확도(3클래스 데이터셋 기준 84.22%)를 달성함을 입증한다.

ABSTRACT

Key properties of brain-inspired hyperdimensional (HD) computing make it a prime candidate for energy-efficient and fast learning in biosignal processing. The main challenge is however to formulate embedding methods that map biosignal measures to a binary HD space. In this paper, we explore variety of such embedding methods and examine them with a challenging application of motor imagery brain-computer interface (MI-BCI) from electroencephalography (EEG) recordings. We explore embedding methods including random projections, quantization based thermometer and Gray coding, and learning HD representations using end-to-end training. All these methods, differing in complexity, aim to represent EEG signals in binary HD space, e.g. with 10,000 bits. This leads to development of a set of HD learning and classification methods that can be selectively chosen (or configured) based on accuracy and/or computational complexity requirements of a given task. We compare them with state-of-the-art linear support vector machine (SVM) on an NVIDIA TX2 board using the 4-class BCI competition IV-2a dataset as well as a new 3-class dataset. Compared to SVM, results on 3-class dataset show that simple thermometer embedding achieves moderate average accuracy (79.56% vs. 82.67%) with 26.8$ imes$ faster training time and 22.3$ imes$ lower energy; on the other hand, switching to end-to-end training with learned HD representations wipes out these training benefits while boosting the accuracy to 84.22% (1.55% higher than SVM). Similar trend is observed on the 4-class dataset where SVM achieves on average 74.29%: the thermometer embedding achieves 89.9$ imes$ faster training time and 58.7$ imes$ lower energy, but a lower accuracy (67.09%) than the learned representation of 72.54%.

연구 동기 및 목표

• 실수값 EEG 특징을 이진 초차원(HD) 공간으로 매핑하는 통용 가능하고 효율적인 임bedding 방법을 개발하여 저전력, 빠른 학습이 가능한 BCI 시스템을 구현한다.
• 실제 BCI 응용에서 다양한 HD 임bedding 기법 간의 분류 정확도, 학습 속도, 에너지 효율성 간의 상호 상충 관계를 평가한다.
• 엔드 투 엔드로 학습된 HD 프로젝션 기법이 수작업으로 설계된 임bedding 방식(예: 체온계, 그레이 코드화)과 랜덤 프로젝션을 초월해 정확도와 효율성 면에서 뛰어나지 못할지 조사한다.
• 실제 EEG 데이터셋을 사용하여 임베딩 하드웨어(NVIDIA TX2)에서 제안된 HD 분류기와 최신 선형 SVM 간의 성능을 비교 평가한다.

제안 방법

• i.i.d. 무작위 이진 행렬을 사용하여 실수값 EEG 특징을 d차원 이진 초벡터로 매핑하기 위해 랜덤 프로젝션을 적용한다.
• 구간 분할과 이진 포맷으로의 인코딩을 통해 연속적인 EEG 특징을 이진 초벡터로 변환하는 양자화 기반 체온계 및 그레이 코드화를 적용한다.
• 백프로파게이션을 통해 최적의 이진 프로젝션을 학습하는 엔드 투 엔드로 학습 가능한 인코더를 도입하여 준직교 초벡터를 생성한다.
• 벡터 연산(예: 중첩, 유사도 계산)을 사용하는 이진 HD 분류기를 활용하여 HD 표현에서 온라인 학습과 추론을 수행한다.
• 모든 임bedding에 대해 10,000비트 초벡터 차원을 사용하며, 효율성 평가를 위해 감소된 차원(예: d=400)에 대한 분석도 실시한다.
• 두 개의 EEG 데이터셋(BCI Competition IV-2a(4클래스) 및 자체 제작한 3클래스 운동 상상 데이터셋)에서 성능을 평가하며, 정확도, 학습 시간, 에너지 소비를 지표로 사용한다.

실험 결과

연구 질문

• RQ1 EEG 기반 운동 상상 BCI에서 랜덤 프로젝션, 체온계/그레이 코드화, 학습된 프로젝션과 같은 다양한 임bedding 방법 간의 분류 정확도는 어떻게 비교되는가?
• RQ2 임베디드 하드웨어에서 HD 분류기와 선형 SVM 간의 학습 속도와 에너지 효율성 간의 상호 상충 관계는 어떠한가?
• RQ3 엔드 투 엔드로 학습된 HD 프로젝션 기법이 수작업으로 설계된 임bedding 방식보다 더 높은 정확도를 달성하면서도 낮은 계산 비용을 유지할 수 있는가?
• RQ4 차원 수가 감소한 HD 표현(예: d=400)이 전체 차원 표현에 비해 분류 성능을 얼마나 잘 유지하는가?
• RQ5 다양한 전력 모드에서 HD 분류기의 추론 속도와 에너지 소비는 선형 SVM과 비교해 어떻게 되는가?

주요 결과

• 3클래스 데이터셋에서 체온계 임bedding은 SVM의 82.67%보다 略적으로 낮은 79.56%의 정확도를 기록했지만, 학습 속도는 26.8배 빠르고 에너지 소비는 22.3배 낮았다.
• 엔드 투 엔드로 학습된 HD 표현 방식은 3클래스 데이터셋에서 84.22%의 정확도를 달성하여 선형 SVM을 1.55% 초월했으며, 유사한 효율성 수준에서 뛰어난 정확도를 확보했다.
• 4클래스 데이터셋에서 학습된 HD 표현 방식은 72.54%의 정확도를 기록했고, 체온계 임bedding(67.09%)를 초월했으며 선형 SVM의 74.29%에 근접했고, 학습 속도는 89.9배 빠르고 에너지 소비는 58.7배 낮았다.
• 체온계 임bedding을 사용한 HD 분류기는 유사한 정확도에서 랜덤 프로젝션 대비 메모리 사용량을 한 단계 감소시켜 효율적인 구현을 가능하게 했다.
• 3클래스 데이터셋에서의 추론 성능 평가 결과, SVM은 HD 분류기 대비 3.5배 빠르고 에너지 소비는 3.9배 적게 소모했으며, 이는 HD 추론 구현에서의 잠재적 비효율성과 향후 최적화 가능성을 시사한다.
• d=400에서 학습된 프로젝션은 3클래스 데이터셋에서 선형 SVM과 동일한 정확도를 달성했으며, 1768개의 이중 정밀도 특징에서 400비트 이진 비트로의 압축 비율 283:1을 실현했다.