[论文解读] Cascade and Parallel Convolutional Recurrent Neural Networks on EEG-based Intention Recognition for Brain Computer Interface

Dalin Zhang, Lina Yao+4 more|arXiv (Cornell University)|Aug 22, 2017

EEG and Brain-Computer Interfaces被引用 70

一句话总结

本文提出级联与并联卷积循环神经网络，以原始脑电信号学习时空表示，识别运动与指令意图，在跨被试多类任务中约获得98% 的准确率，在真实世界的BCI案例研究中达到约93%。

ABSTRACT

Brain-Computer Interface (BCI) is a system empowering humans to communicate with or control the outside world with exclusively brain intentions. Electroencephalography (EEG) based BCIs are promising solutions due to their convenient and portable instruments. Motor imagery EEG (MI-EEG) is a kind of most widely focused EEG signals, which reveals a subjects movement intentions without actual actions. Despite the extensive research of MI-EEG in recent years, it is still challenging to interpret EEG signals effectively due to the massive noises in EEG signals (e.g., low signal noise ratio and incomplete EEG signals), and difficulties in capturing the inconspicuous relationships between EEG signals and certain brain activities. Most existing works either only consider EEG as chain-like sequences neglecting complex dependencies between adjacent signals or performing simple temporal averaging over EEG sequences. In this paper, we introduce both cascade and parallel convolutional recurrent neural network models for precisely identifying human intended movements by effectively learning compositional spatio-temporal representations of raw EEG streams. The proposed models grasp the spatial correlations between physically neighboring EEG signals by converting the chain like EEG sequences into a 2D mesh like hierarchy. An LSTM based recurrent network is able to extract the subtle temporal dependencies of EEG data streams. Extensive experiments on a large-scale MI-EEG dataset (108 subjects, 3,145,160 EEG records) have demonstrated that both models achieve high accuracy near 98.3% and outperform a set of baseline methods and most recent deep learning based EEG recognition models, yielding a significant accuracy increase of 18% in the cross-subject validation scenario.

研究动机与目标

• 提升跨被试和多类别设定下的EEG基于意图识别的性能。
• 提出端到端的级联与并联CNN-RNN架构，在原始EEG上工作，无需大量预处理。
• 利用EEG数据的2D网格变换来捕捉电极之间的空间关系。
• 在大规模公开EEG数据集和真实世界BCI设置上评估模型。
• 展示对EEG信号缺失通道与噪声的鲁棒性。

提出的方法

• 将1D EEG序列转换为基于电极空间排列的2D EEG网格。
• 在每个窗口内对网格进行网格级2D-CNN以提取空间特征。
• 使用堆叠的LSTM（RNN）来捕捉空间特征序列的时间动态。
• 在级联模型中，将空间特征输入RNN，再通过全连接层和softmax进行分类。
• 在并联模型中，空间与时间特征并行提取后进行融合，再进入最终softmax。
• 探索多种融合策略，并保持CNN层不进行池化以保留信息。

实验结果

研究问题

• RQ1 级联与并联CNN-RNN架构是否能够有效从原始EEG学习时空表示，以实现多类别跨被试的意图识别？
• RQ2 与1D/2D/3D CNN基线相比，空间（2D网格）和时间（RNN）信息对性能的贡献如何？
• RQ3 模型深度与融合策略对识别准确率与泛化有何影响？
• RQ4 在通道受限的真实世界BCI系统中，所提出的模型表现如何？
• RQ5 在记录过程中对缺失EEG数据，模型是否具备鲁棒性？

主要发现

模型	多类别	验证	准确度
( ? )	二元	同一被试内	0.72
( ? )	二元	同一被试内	0.8206
( ? )	二元	跨被试(10)	0.8505
( ? )	二元	跨被试(105)	0.805
( ? )	多类	跨被试(20)	0.794
( ? )	多类	跨被试(108)	0.6731
1D-CNN	多类	跨被试(108)	0.8622
2D-CNN	多类	跨被试(108)	0.8841
3D-CNN	多类	跨被试(108)	0.9238
RNN(64)	多类	跨被试(108)	0.8493
RNN(16)	多类	跨被试(108)	0.7468
Cascade 模型	多类	跨被试(108)	0.9831
并行模型	多类	跨被试(108)	0.9828

• 级联与并行模型在跨被试多类别运动意图识别上实现了近98.3%的准确率，优于现有基线。
• 该方法在跨被试准确率方面显著优于以往方法，提升约18%。
• 在14通道的真实世界BCI案例研究中，模型在五个指令意图上达到最高93%的准确率。
• 2D-CNN（空间信息）相较1D-CNN基线提升性能，时间信息通过LSTM层提供超过仅2D-CNN的显著提升。
• 3D-CNN基线具竞争力，但未能达到级联/并行RNN所捕获的全局时间表示。
• 在模型变体中，较深的CNN和额外的LSTM层提高了准确率，级联和并联模型的准确率收敛在约98%。