[论文解读] A Spatial-Spectral and Temporal Dual Prototype Network for Motor Imagery Brain-Computer Interface

Can Han, Chen Liu+4 more|arXiv (Cornell University)|Jul 3, 2024

EEG and Brain-Computer InterfacesNeuroscience被引用 3

一句话总结

该论文提出EDPNet，一种用于运动想象脑电信号解码的轻量化双原型网络，通过自适应时空融合与多尺度方差池化提取判别性特征，同时采用双原型学习提升小样本数据集上的泛化能力。EDPNet在BCI Competition IV 2a上实现了最先进的准确率（84.11%）与kappa值（0.7881），参数量与FLOPs均极低，展现出在实时BCI应用中高效且鲁棒的性能。

ABSTRACT

Motor imagery electroencephalogram (MI-EEG) decoding plays a crucial role in developing motor imagery brain-computer interfaces (MI-BCIs). However, decoding intentions from MI remains challenging due to the inherent complexity of EEG signals relative to the small-sample size. To address this issue, we propose a spatial-spectral and temporal dual prototype network (SST-DPN). First, we design a lightweight attention mechanism to uniformly model the spatial-spectral relationships across multiple EEG electrodes, enabling the extraction of powerful spatial-spectral features. Then, we develop a multi-scale variance pooling module tailored for EEG signals to capture long-term temporal features. This module is parameter-free and computationally efficient, offering clear advantages over the widely used transformer models. Furthermore, we introduce dual prototype learning to optimize the feature space distribution and training process, thereby improving the model's generalization ability on small-sample MI datasets. Our experimental results show that the SST-DPN outperforms state-of-the-art models with superior classification accuracy (84.11% for dataset BCI4-2A, 86.65% for dataset BCI4-2B). Additionally, we use the BCI3-4A dataset with fewer training data to further validate the generalization ability of the proposed SST-DPN. We also achieve superior performance with 82.03% classification accuracy. Benefiting from the lightweight parameters and superior decoding accuracy, our SST-DPN shows great potential for practical MI-BCI applications. The code is publicly available at https://github.com/hancan16/SST-DPN.

研究动机与目标

• 解决运动想象脑电信号解码中信号-噪声比低与时空动态复杂的问题。
• 通过提升模型泛化能力，克服小样本训练数据在MI-EEG中的限制，而无需大规模数据或复杂预处理。
• 开发一种计算高效的深度学习模型，适用于实时、资源受限的BCI系统。
• 通过新颖的双原型学习框架，显式建模类间间距与类内紧凑性，提升特征判别性。

提出的方法

• 引入一种基于轻量化自注意力机制的自适应时空融合（ASSF）模块，用于建模电极间关系并增强时空特征表示。
• 实现一种无参数的多尺度方差池化（MVP）模块，无需额外可学习参数即可跨多尺度提取长程时间依赖。
• 提出双原型学习（DPL），联合优化原型位置与特征分布，以增大类间间距并增强类内紧凑性。
• 设计一种仅含15.21k参数与9.65M FLOPs的轻量化网络架构，实现无需预处理的高速推理。
• 端到端训练模型，采用对比损失使特征原型更接近其对应类别特征，远离其他类别。
• 利用神经生理学先验知识（如ERD/ERS模式）指导特征提取模块的设计。

实验结果

研究问题

• RQ1 轻量化深度学习模型是否能在无需大量数据预处理或大规模微调的情况下，实现MI-EEG解码的最先进性能？
• RQ2 与标准原型学习相比，双原型学习在小样本MI-EEG数据集上提升模型泛化能力的效率如何？
• RQ3 所提出的自适应时空融合模块在建模电极级时空关系方面，对特征表示的增强程度如何？
• RQ4 多尺度方差池化模块是否能在不引入额外参数的情况下，有效捕捉EEG信号中的长期时间动态？
• RQ5 与现有SOTA模型相比，所提出的EDPNet是否能在显著降低计算成本的同时保持高准确率？

主要发现

• EDPNet在BCI Competition IV 2a上实现84.11%的分类准确率与0.7881的kappa值，两项指标均优于所有现有SOTA方法。
• 在BCI Competition IV 2b上，EDPNet达到86.65%的准确率与0.7330的kappa值，展现出在不同数据集上的强泛化能力。
• 仅含15.21k参数与9.65M FLOPs，EDPNet在所有对比模型中计算成本最低，包括使用复杂预处理的模型。
• 在BCI Competition III IVa上，EDPNet在有限训练数据条件下仍实现82.03%的准确率，证实其在低数据场景下的鲁棒性。
• 特征范数可视化表明，与标准原型学习相比，DPL能实现更大的类间间距与更紧凑的类内特征。
• EDPNet无需任何预处理（如带通滤波或欧氏对齐），实现更快推理，更适合实时BCI系统。