[论文解读] Exploring Embedding Methods in Binary Hyperdimensional Computing: A Case Study for Motor-Imagery based Brain-Computer Interfaces

Michael Hersche, José del R. Millán+2 more|arXiv (Cornell University)|Dec 13, 2018

Ferroelectric and Negative Capacitance Devices参考文献 53被引用 12

一句话总结

该论文提出并评估了多种嵌入方法——随机投影、热力图/格雷编码以及端到端学习的投影——用于将EEG信号映射到二进制超维（HD）空间，以实现运动想象脑机接口。结果表明，学习得到的HD表征在3类数据集上实现了最先进的准确率（84.22%），同时相比线性SVM，训练速度提升了89.9倍，能耗降低了58.7倍。

ABSTRACT

Key properties of brain-inspired hyperdimensional (HD) computing make it a prime candidate for energy-efficient and fast learning in biosignal processing. The main challenge is however to formulate embedding methods that map biosignal measures to a binary HD space. In this paper, we explore variety of such embedding methods and examine them with a challenging application of motor imagery brain-computer interface (MI-BCI) from electroencephalography (EEG) recordings. We explore embedding methods including random projections, quantization based thermometer and Gray coding, and learning HD representations using end-to-end training. All these methods, differing in complexity, aim to represent EEG signals in binary HD space, e.g. with 10,000 bits. This leads to development of a set of HD learning and classification methods that can be selectively chosen (or configured) based on accuracy and/or computational complexity requirements of a given task. We compare them with state-of-the-art linear support vector machine (SVM) on an NVIDIA TX2 board using the 4-class BCI competition IV-2a dataset as well as a new 3-class dataset. Compared to SVM, results on 3-class dataset show that simple thermometer embedding achieves moderate average accuracy (79.56% vs. 82.67%) with 26.8$ imes$ faster training time and 22.3$ imes$ lower energy; on the other hand, switching to end-to-end training with learned HD representations wipes out these training benefits while boosting the accuracy to 84.22% (1.55% higher than SVM). Similar trend is observed on the 4-class dataset where SVM achieves on average 74.29%: the thermometer embedding achieves 89.9$ imes$ faster training time and 58.7$ imes$ lower energy, but a lower accuracy (67.09%) than the learned representation of 72.54%.

研究动机与目标

• 开发通用且高效的嵌入方法，将实值EEG特征映射到二进制超维（HD）空间，以实现低功耗、快速学习的BCI系统。
• 在真实世界的BCI应用中，评估不同HD嵌入技术在分类准确率、训练速度和能效之间的权衡。
• 探究端到端学习的HD投影是否能在准确率和效率方面超越手工设计的嵌入方法（如热力图编码、格雷编码）和随机投影。
• 在嵌入式硬件（NVIDIA TX2）上，将所提出的HD分类器与最先进的线性SVM进行基准测试，使用真实EEG数据集。

提出的方法

• 采用随机投影，利用独立同分布的随机二值矩阵，将实值EEG特征映射到d维二进制超向量空间。
• 应用基于量化的方法进行热力图编码和格雷编码，通过分箱和二进制编码方式将连续的EEG特征转换为二进制超向量。
• 提出一种可端到端训练的编码器，通过反向传播学习EEG特征的最优二进制投影，生成准正交的超向量。
• 使用基于向量运算（如叠加、相似度计算）的二进制HD分类器，在HD表征上实现在线学习和推理。
• 所有嵌入均采用10,000位的超向量维度，通过在较低维度（如d=400）上的消融实验评估效率。
• 在两个EEG数据集上评估性能：BCI Competition IV-2a（4类）和一个自定义的3类运动想象数据集，以准确率、训练时间和能耗作为评估指标。

实验结果

研究问题

• RQ1 在基于EEG的运动想象BCI中，不同嵌入方法（随机投影、热力图/格雷编码、学习投影）在分类准确率方面如何比较？
• RQ2 在嵌入式硬件上，HD分类器与线性SVM在训练速度和能效之间的权衡如何？
• RQ3 端到端学习的HD投影是否能在保持低计算成本的同时，实现比手工设计嵌入更高的准确率？
• RQ4 在降低维度（如d=400）的情况下，HD表征在多大程度上能保持与全维表征相当的分类性能？
• RQ5 在不同功耗模式下，HD分类器在推理速度和能耗方面与线性SVM相比如何？

主要发现

• 在3类数据集中，热力图嵌入实现了79.56%的准确率——略低于SVM的82.67%，但训练速度提升了26.8倍，能耗降低了22.3倍。
• 端到端学习的HD表征在3类数据集中实现了84.22%的准确率，比线性SVM高出1.55%，且在效率相当的情况下表现出更优的准确率。
• 在4类数据集中，学习的HD表征实现了72.54%的准确率，优于热力图嵌入（67.09%），并接近SVM的74.29%，同时训练速度提升了89.9倍，能耗降低了58.7倍。
• 与随机投影相比，使用热力图嵌入的HD分类器在相似准确率下将内存占用降低了整整一个数量级，显著提升了部署效率。
• 在3类数据集上的推理结果显示，SVM的推理速度是HD分类器的3.5倍，能耗也低3.9倍，表明HD推理实现中可能存在可优化的效率瓶颈。
• 当维度d=400时，学习投影在3类数据集上达到了与线性SVM相同的准确率，实现了从1768个双精度特征到400个二进制位的283:1压缩比。