[论文解读] LGGNet: Learning from Local-Global-Graph Representations for Brain-Computer Interface

Yi Ding, Neethu Robinson+3 more|arXiv (Cornell University)|May 5, 2021

EEG and Brain-Computer Interfaces参考文献 47被引用 9

一句话总结

LGGNet 是一种受神经科学启发的图神经网络，通过使用局部-全局图表示来建模脑电信号，从而提升脑机接口性能。通过将多尺度时间卷积与注意力融合的核级特征相结合，并学习特定任务的局部和全局图结构，LGGNet 在四项认知分类任务（注意力、疲劳、情绪和偏好）中均显著优于当前最先进方法。

ABSTRACT

Neuropsychological studies suggest that co-operative activities among different brain functional areas drive high-level cognitive processes. To learn the brain activities within and among different functional areas of the brain, we propose LGGNet, a novel neurologically inspired graph neural network, to learn local-global-graph representations of electroencephalography (EEG) for Brain-Computer Interface (BCI). The input layer of LGGNet comprises a series of temporal convolutions with multi-scale 1D convolutional kernels and kernel-level attentive fusion. It captures temporal dynamics of EEG which then serves as input to the proposed local and global graph-filtering layers. Using a defined neurophysiologically meaningful set of local and global graphs, LGGNet models the complex relations within and among functional areas of the brain. Under the robust nested cross-validation settings, the proposed method is evaluated on three publicly available datasets for four types of cognitive classification tasks, namely, the attention, fatigue, emotion, and preference classification tasks. LGGNet is compared with state-of-the-art methods, such as DeepConvNet, EEGNet, R2G-STNN, TSception, RGNN, AMCNN-DGCN, HRNN and GraphNet. The results show that LGGNet outperforms these methods, and the improvements are statistically significant (p<0.05) in most cases. The results show that bringing neuroscience prior knowledge into neural network design yields an improvement of classification performance. The source code can be found at https://github.com/yi-ding-cs/LGG

研究动机与目标

• 为解决现有基于脑电信号的脑机接口模型在有效捕捉局部功能脑区动态与全局区域间交互方面的局限性。
• 将神经心理学知识融入深度学习架构设计，以提升认知状态分类任务中的可解释性与性能。
• 开发一种图神经网络，基于功能脑区将脑电信号建模为分层的局部-全局图结构。
• 学习反映神经生理学意义脑网络动态的任务特定图连接与节点表征。
• 通过嵌套交叉验证在多个基准数据集上对模型进行稳健评估，以检验其泛化能力与统计显著性。

提出的方法

• LGGNet 使用多尺度一维卷积核从原始脑电信号中提取时间动态特征，随后通过核级注意力融合突出信息丰富的频段。
• 该模型构建了局部-全局图表示，其中局部图对应于基于 10-20 脑电系统定义的神经解剖学功能脑区（如额叶、顶叶、枕叶）。
• 局部图滤波层将每个功能区域内的节点特征聚合为单一隐藏嵌入，表示区域脑活动。
• 全局图滤波层以实例特定的相似度矩阵作为基础邻接矩阵，并应用可学习的注意力掩码，在训练过程中动态选择重要的区域间连接。
• 图连接通过反向传播端到端学习，使模型能够自适应地强调与任务相关的功能脑网络。
• 探索了三种不同的图定义（通用、额叶导向、半球导向），以捕捉任务特定的神经网络拓扑结构。

实验结果

研究问题

• RQ1 将具有神经生理学意义的局部与全局脑图结构整合到图神经网络中，是否能提升基于脑电信号的认知状态分类性能？
• RQ2 在深度学习模型中，任务特定的脑网络模式（如注意力、疲劳、情绪、偏好）如何在学习到的图连接中显现？
• RQ3 与标准卷积神经网络相比，使用多尺度时间卷积与注意力融合是否能增强脑电信号的表征学习能力？
• RQ4 可学习的邻接掩码在全局图层中在多大程度上通过捕捉动态功能连接来提升性能？
• RQ5 模型内部的图结构在多大程度上可被解释，以反映已知的神经认知过程与功能脑网络组织？

主要发现

• LGGNet 在所有四项认知分类任务（注意力、疲劳、情绪、偏好）中均显著优于当前最先进方法（包括 DeepConvNet、EEGNet、R2G-STNN、TSception、RGNN、AMCNN-DGCN、HRNN 和 GraphNet）。
• 在大多数实验中，性能提升具有统计显著性（p < 0.05），证明将神经科学先验知识融入模型设计的有效性。
• 学习到的邻接矩阵与注意力掩码揭示了任务特定的脑网络模式：在疲劳任务中，额叶-枕叶与额叶-运动区连接更强；在情绪任务中，前额-颞-枕叶连接更广泛；在偏好任务中，颞叶参与更显著。
• 模型为神经解剖学相关区域分配了更高的注意力权重：注意力任务中为额叶与顶叶区域，情绪任务中为颞叶与额叶区域，偏好任务中为颞叶区域，与已知功能角色一致。
• 可视化结果表明，模型学习到了有意义且与任务相关的功能连接模式，例如在疲劳任务中，Fp-r 与 O 区之间连接增强；在情绪任务中，AF–O 与 CP–O 之间连接增强。
• 自环注意力权重在已知参与相应认知过程的区域中最高（如注意力任务中为额叶与顶叶，情绪任务中为颞叶），表明模型与神经生理学知识高度一致。