[论文解读] MI-BMInet: An Efficient Convolutional Neural Network for Motor Imagery Brain--Machine Interfaces with EEG Channel Selection

Xiaying Wang, Michael Hersche+2 more|arXiv (Cornell University)|Mar 28, 2022

EEG and Brain-Computer Interfaces被引用 9

一句话总结

该论文提出MI-BMInet，一种专为运动想象脑机接口设计的轻量化卷积神经网络（CNN），在仅使用10个EEG导联、每推理30 µJ、延迟2.95 ms的条件下，实现了82.51%的准确率，且可在超低功耗微控制器单元（MCUs）上运行。通过结合基于空间滤波的导联选择、8位量化以及硬件感知的模型设计，该方法实现了实时、低功耗的边缘推理，在嵌入式BMI系统的准确率、资源效率和功耗方面树立了新的最先进水平。

ABSTRACT

A brain--machine interface (BMI) based on motor imagery (MI) enables the control of devices using brain signals while the subject imagines performing a movement. It plays a vital role in prosthesis control and motor rehabilitation. To improve user comfort, preserve data privacy, and reduce the system's latency, a new trend in wearable BMIs is to execute algorithms on low-power microcontroller units (MCUs) embedded on edge devices to process the electroencephalographic (EEG) data in real-time close to the sensors. However, most of the classification models present in the literature are too resource-demanding, making them unfit for low-power MCUs. This paper proposes an efficient convolutional neural network (CNN) for EEG-based MI classification that achieves comparable accuracy while being orders of magnitude less resource-demanding and significantly more energy-efficient than state-of-the-art (SoA) models for a long-lifetime battery operation. To further reduce the model complexity, we propose an automatic channel selection method based on spatial filters and quantize both weights and activations to 8-bit precision with negligible accuracy loss. Finally, we implement and evaluate the proposed models on leading-edge parallel ultra-low-power (PULP) MCUs. The final 2-class solution consumes as little as 30 uJ/inference with a runtime of 2.95 ms/inference and an accuracy of 82.51% while using 6.4x fewer EEG channels, becoming the new SoA for embedded MI-BMI and defining a new Pareto frontier in the three-way trade-off among accuracy, resource cost, and power usage.

研究动机与目标

• 开发一种高度高效的深度学习模型，用于基于EEG的运动想象（MI）分类，使其可部署于超低功耗微控制器单元（MCUs）上，用于可穿戴脑机接口（BMIs）。
• 解决嵌入式BMI系统中准确率、计算资源使用与功耗之间的关键权衡问题。
• 通过自动EEG导联选择和混合精度量化，降低模型复杂度与能耗，同时不牺牲分类准确率。
• 通过最小化边缘设备上的数据采集与处理功耗，实现长达22小时的电池续航。
• 在前沿PULP MCU上实现低延迟（每推理2.95 ms）和极低能耗（每推理30 µJ）的实时、本地化推理。

提出的方法

• 提出一种新颖的轻量化卷积神经网络（CNN）架构——MI-BMInet，专为参数量和浮点运算量（FLOPs）均较低的MCU进行优化。
• 提出一种基于空间滤波器（如共空间模式）的自动EEG导联选择方法，以识别最具信息量的电极，将输入维度从64个导联减少至10个。
• 对权重和激活值应用训练后量化，精度降至8位定点数，显著降低内存占用与计算成本，且准确率损失可忽略不计。
• 通过在时间卷积之前提取空间特征，重新组织网络的运算顺序，从而降低模型复杂度并加快推理速度。
• 利用硬件感知编译与内存优化技术，将最终模型部署于并行超低功耗（PULP）MCU（如Mr. Wolf和Vega）上。
• 采用两阶段处理流水线：(1) 空间滤波用于降维与噪声抑制，随后(2) 使用深度可分离1D卷积进行时间特征提取与分类。

实验结果

研究问题

• RQ1 轻量级CNN是否能在超低功耗MCU上实现最先进的EEG基运动想象分类准确率？
• RQ2 基于空间滤波的自动EEG导联选择在不降低分类性能的前提下，对降低模型复杂度与功耗的效率如何？
• RQ3 在硬件开销极小的条件下，8位量化在实时嵌入式BMI系统中能多大程度上保持准确率？
• RQ4 在联合优化模型架构、量化与硬件部署的前提下，准确率、能效与推理延迟之间可实现怎样的权衡？
• RQ5 所提出的系统是否能在仅使用10个EEG导联且功耗低于10 mW的条件下，实现连续运行超过20小时的电池续航？

主要发现

• 最终的二分类MI-BMInet模型在BCI Competition IV数据集上实现了82.51%的分类准确率，性能与现有最先进模型持平或更优。
• 该系统在PULP MCU上每推理仅消耗30 µJ，相比先前的嵌入式模型，能耗降低了100倍。
• 每样本推理延迟降低至2.95 ms，支持实时运行，适用于在线BMI应用。
• 模型仅使用10个EEG导联，而非标准的64个，将数据采集功耗降低高达84%，并将电池续航从3.8小时延长至22小时。
• 基于空间滤波的导联选择与8位量化相结合，使内存占用减少10倍，计算复杂度降低3倍，相比现有最先进模型。
• 在Mr. Wolf和Vega MCU上的实现验证了该模型可部署于当前一代超低功耗平台，无需外部存储器，支持长期、隐私保护的本地化运行。