[论文解读] Multi-Scale Neural network for EEG Representation Learning in BCI

Wonjun Ko, Eunjin Jeon+2 more|arXiv (Cornell University)|Mar 2, 2020

EEG and Brain-Computer Interfaces参考文献 37被引用 5

一句话总结

本文提出一种紧凑的多尺度神经网络（MSNN），用于脑-计算机接口（BCI）中的脑电信号表征学习，通过同时捕捉多频率和时间尺度下的空间、频谱和时域特征。该方法在多种BCI范式（运动想象、稳态视觉诱发电位、精神疲劳和癫痫发作检测）中实现了最先进性能，通过端到端学习提升了泛化能力和可解释性，得益于多尺度特征提取与可视化技术。

ABSTRACT

Recent advances in deep learning have had a methodological and practical impact on brain-computer interface research. Among the various deep network architectures, convolutional neural networks have been well suited for spatio-spectral-temporal electroencephalogram signal representation learning. Most of the existing CNN-based methods described in the literature extract features at a sequential level of abstraction with repetitive nonlinear operations and involve densely connected layers for classification. However, studies in neurophysiology have revealed that EEG signals carry information in different ranges of frequency components. To better reflect these multi-frequency properties in EEGs, we propose a novel deep multi-scale neural network that discovers feature representations in multiple frequency/time ranges and extracts relationships among electrodes, i.e., spatial representations, for subject intention/condition identification. Furthermore, by completely representing EEG signals with spatio-spectral-temporal information, the proposed method can be utilized for diverse paradigms in both active and passive BCIs, contrary to existing methods that are primarily focused on single-paradigm BCIs. To demonstrate the validity of our proposed method, we conducted experiments on various paradigms of active/passive BCI datasets. Our experimental results demonstrated that the proposed method achieved performance improvements when judged against comparable state-of-the-art methods. Additionally, we analyzed the proposed method using different techniques, such as PSD curves and relevance score inspection to validate the multi-scale EEG signal information capturing ability, activation pattern maps for investigating the learned spatial filters, and t-SNE plotting for visualizing represented features. Finally, we also demonstrated our method's application to real-world problems.

研究动机与目标

• 为解决现有基于CNN的BCI模型逐层提取特征、难以有效捕捉多频段脑电信号成分的问题。
• 开发一种通用的深度学习框架，适用于主动与被动BCI，克服范式特异性特征工程的局限。
• 通过减少参数数量并增强多尺度特征表征，提升在典型BCI应用中数据稀缺场景下的模型泛化能力。
• 通过t-SNE、激活图和显著性分数分析等可视化技术，实现对学习表征的可解释性。
• 在现实应用中展示实用性，如困倦状态与早期癫痫发作检测。

提出的方法

• 所提出的多尺度神经网络（MSNN）采用具有不同卷积核大小的并行卷积分支，同时提取多时间与频谱尺度下的特征。
• 每个分支处理原始脑电信号，以捕捉局部时空频谱模式，通过电极间共享权重来建模空间关系。
• 所有分支的特征经拼接后，通过全局平均池化和全连接层进行分类。
• 该架构设计紧凑，显著减少可训练参数数量，从而提升在数据稀缺的BCI场景下的泛化能力。
• 通过显著性图（显著性分数）、激活模式可视化及t-SNE用于特征空间分析，增强模型可解释性。
• 模型采用交叉熵损失函数进行端到端训练，并在多个公开脑电数据集上，针对多样化BCI范式进行评估。

实验结果

研究问题

• RQ1 多尺度CNN架构是否能有效学习在BCI应用中跨多种频率与时间尺度的判别性脑电信号表征？
• RQ2 所提出的MSNN在主动与被动BCI范式中的分类准确率方面，相较于最先进模型表现如何？
• RQ3 在多大程度上可通过显著性分数、激活图与t-SNE可视化技术解释模型学习到的特征？
• RQ4 多尺度设计是否在典型EEG-BEI系统中数据稀缺的场景下提升性能？
• RQ5 所提出方法是否可泛化至现实应用，如困倦状态与早期癫痫发作检测？

主要发现

• 在SEED-VIG数据集中，MSNN在检测困倦状态方面取得了最高的精确率，优于所有基线模型。
• 在CHB-MIT数据集的早期癫痫发作检测中，MSNN在发作起始时刻表现出最稳定且最自信的预测（概率接近1.0），而其他模型则产生低或错误的置信度分数。
• t-SNE可视化结果表明，最终特征表示（$\mathcal{G}(\mathbf{f}_{\text{concat}}^{\text{SST}})$）比中间特征更具类别判别性。
• 激活模式图显示，模型学习到了对应于神经生理学上有意义模式的空间滤波器，如感觉运动节律。
• 显著性分数分析表明，模型有效捕捉了不同脑电频段中的多尺度时频信息。
• 该模型在多种BCI范式（包括运动想象、SSVEP、精神疲劳与癫痫检测）中均表现出更强的泛化能力，且在性能上持续优于最先进方法。