[论文解读] Boosted Convolutional Neural Networks for Motor Imagery EEG Decoding with Multiwavelet-based Time-Frequency Conditional Granger Causality Analysis

Yang Li, Meng-Ying Lei+5 more|arXiv (Cornell University)|Oct 22, 2018

EEG and Brain-Computer Interfaces参考文献 44被引用 4

一句话总结

本论文提出了一种基于多小波时频条件格兰杰因果关系（TF-CGC）的增强型卷积神经网络（ConvNet）框架，用于运动想象（MI）脑电信号（EEG）解码。该方法在BCI竞赛IV号数据集IIa上，相较于竞赛优胜者，平均准确率提高了12.15%，个体间标准差降低了74.02%。

ABSTRACT

Decoding EEG signals of different mental states is a challenging task for brain-computer interfaces (BCIs) due to nonstationarity of perceptual decision processes. This paper presents a novel boosted convolutional neural networks (ConvNets) decoding scheme for motor imagery (MI) EEG signals assisted by the multiwavelet-based time-frequency (TF) causality analysis. Specifically, multiwavelet basis functions are first combined with Geweke spectral measure to obtain high-resolution TF-conditional Granger causality (CGC) representations, where a regularized orthogonal forward regression (ROFR) algorithm is adopted to detect a parsimonious model with good generalization performance. The causality images for network input preserving time, frequency and location information of connectivity are then designed based on the TF-CGC distributions of alpha band multichannel EEG signals. Further constructed boosted ConvNets by using spatio-temporal convolutions as well as advances in deep learning including cropping and boosting methods, to extract discriminative causality features and classify MI tasks. Our proposed approach outperforms the competition winner algorithm with 12.15% increase in average accuracy and 74.02% decrease in associated inter subject standard deviation for the same binary classification on BCI competition-IV dataset-IIa. Experiment results indicate that the boosted ConvNets with causality images works well in decoding MI-EEG signals and provides a promising framework for developing MI-BCI systems.

研究动机与目标

• 解决运动想象（MI）EEG解码中非平稳感知决策过程的挑战，以用于脑机接口（BCIs）。
• 提升MI-EEG信号解码在不同受试者间的分类准确率与鲁棒性。
• 开发一种数据驱动的、具备因果意识的特征表示方法，以保留时间、频率与空间连通性信息。
• 将先进的深度学习技术——特别是时空卷积、裁剪与增强技术——整合进统一的EEG解码框架中。
• 为下一代MI-BCI系统提供一种可扩展且泛化能力强的框架，以提升受试者间性能的一致性。

提出的方法

• 结合多小波基函数与Geweke谱度量，计算高分辨率的时频条件格兰杰因果关系（TF-CGC）表征。
• 应用正则化正交匹配追踪（ROFR）算法，识别出简洁且具有泛化能力的TF-CGC模型。
• 从α波段多通道EEG信号构建因果图像，以编码时间、频率与空间连通性模式，作为深度网络的输入。
• 设计一种基于时空卷积的增强型ConvNet架构，从因果图像中提取分层判别性特征。
• 引入数据增强与增强技术，以提升模型在有限EEG数据上的泛化能力与性能。
• 通过交叉熵损失与自适应学习率调度的端到端训练方式优化网络。

实验结果

研究问题

• RQ1 与传统的频域或时域特征相比，基于多小波的时频条件格兰杰因果关系能否提供更具信息量与判别性的运动想象EEG信号表征？
• RQ2 从TF-CGC导出的因果图像在多大程度上能提升深度学习模型在二分类运动想象任务中的解码性能？
• RQ3 在基准EEG数据集上，所提出的增强型ConvNet框架在准确率与受试者间变异性方面，相较于最先进方法表现如何？
• RQ4 时空卷积与增强技术的集成是否能提升EEG解码中的特征学习能力与分类鲁棒性？
• RQ5 所提出方法是否能在保持高解码准确率的同时，实现跨受试者的优越泛化能力？

主要发现

• 所提方法在BCI竞赛IV号数据集IIa上，相较于竞赛优胜者，平均分类准确率提高了12.15%。
• 与竞赛优胜者相比，受试者间标准差降低了74.02%，表明在跨受试者间具有显著提升的鲁棒性与一致性。
• 因果图像有效保留了时间、频率与空间连通性信息，使模型能够从EEG连通性动态中学习判别性模式。
• 增强型ConvNet架构展现出卓越的特征提取能力，在准确率与泛化能力方面均优于标准ConvNet与传统方法。
• 采用ROFR进行模型选择，确保了简洁但有效的TF-CGC表征，有效抑制过拟合并提升可解释性。
• 将基于多小波的TF-CGC与深度学习相结合，为实时、鲁棒的MI-BCI系统提供了一种有前景且可扩展的框架。