[论文解读] Deep Feature Mining via Attention-based BiLSTM-GCN for Human Motor Imagery Recognition

Yimin Hou, Shuyue Jia+5 more|arXiv (Cornell University)|May 2, 2020

EEG and Brain-Computer Interfaces参考文献 49被引用 32

一句话总结

本文提出基于 Attention 的 BiLSTM-GCN 框架，使用 0.4s 的样本解码脑电图（EEG）运动意象，达到最先进的组级和个体级准确率。

ABSTRACT

Recognition accuracy and response time are both critically essential ahead of building practical electroencephalography (EEG) based brain-computer interface (BCI). Recent approaches, however, have either compromised in the classification accuracy or responding time. This paper presents a novel deep learning approach designed towards remarkably accurate and responsive motor imagery (MI) recognition based on scalp EEG. Bidirectional Long Short-term Memory (BiLSTM) with the Attention mechanism manages to derive relevant features from raw EEG signals. The connected graph convolutional neural network (GCN) promotes the decoding performance by cooperating with the topological structure of features, which are estimated from the overall data. The 0.4-second detection framework has shown effective and efficient prediction based on individual and group-wise training, with 98.81% and 94.64% accuracy, respectively, which outperformed all the state-of-the-art studies. The introduced deep feature mining approach can precisely recognize human motion intents from raw EEG signals, which paves the road to translate the EEG based MI recognition to practical BCI systems.

研究动机与目标

• 通过解决试验间和受试者间的变异性，推动面向实际脑机接口的快速且精确的基于 EEG 的 MI 识别。
• 开发一个深度学习管道，从原始的 64 通道 EEG 数据中学习鲁棒特征。
• 利用拓扑特征结构，通过基于图的学习来提升解码性能。
• 通过群体级和个体级评估展示鲁棒性和可重复性。

提出的方法

• 将 64 通道 EEG 信号切分成 0.4 秒片段（64x64）作为输入。
• 应用带有 Attention 机制的 BiLSTM 从原始 EEG 中提取时空特征。
• 使用 Pearson、绝对 Pearson、邻接和拉普拉斯矩阵构建提取特征的图表示。
• 用六层图卷积网络（GCN）对图结构特征进行分类，包含池化和 softmax 输出。
• 在 TensorFlow 中端到端训练，使用 dropout、批归一化以及交叉熵损失。
• 调优超参数以在防止过拟合的同时最大化性能（例如，256 个 BiLSTM 单元，8 的 Attention 尺寸，64 的 FC 尺寸）。

实验结果

研究问题

• RQ1 基于 Attention 的 BiLSTM 是否能比标准 RNN 或 CNN 更有效地从短的 0.4s 片段中提取显著的 EEG MI 特征？
• RQ2 在提取特征之上加入 Graph Convolutional Network 是否通过利用特征拓扑来提升 MI 分类？
• RQ3 在 MI-EEG 数据上使用这种混合 BiLSTM-GCN 方法时，组级和个体级的性能提升有哪些？

主要发现

• 使用 10 折交叉验证、20 个受试者的组级最大 GAA 为 94.64%。
• 在单个受试者中的个体级最大 GAA 为 98.81%。
• 平均组级性能（GAA）为 93.04%，具有高可靠性指标（Kappa 90.71%，Precision 93.02%，Recall 93.01%，F1 92.99%）。
• 个体级自适应在 10 名受试者中实现了平均 GAA 95.48%（± 指标）。
• 该方法对受试者间变异具有鲁棒性，并提供以 0.4s 样本的时间分辨预测，优于若干最先进方法。