[论文解读] Learning Representations from EEG with Deep Recurrent-Convolutional Neural Networks

Pouya Bashivan, Irina Rish+2 more|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications被引用 542

一句话总结

本文提出一种深度循环-卷积神经网络，将多通道EEG时序信号转换为保持拓扑结构的多光谱图像（即“EEG电影”），以学习鲁棒且不变的表征。通过结合3D卷积层进行空间-频谱特征提取和LSTM进行时间建模，该方法在心理负荷预测任务中实现了最先进（state-of-the-art）的分类准确率，显著优于先前方法，同时保持了空间、频谱和时间结构。

ABSTRACT

One of the challenges in modeling cognitive events from electroencephalogram (EEG) data is finding representations that are invariant to inter- and intra-subject differences, as well as to inherent noise associated with such data. Herein, we propose a novel approach for learning such representations from multi-channel EEG time-series, and demonstrate its advantages in the context of mental load classification task. First, we transform EEG activities into a sequence of topology-preserving multi-spectral images, as opposed to standard EEG analysis techniques that ignore such spatial information. Next, we train a deep recurrent-convolutional network inspired by state-of-the-art video classification to learn robust representations from the sequence of images. The proposed approach is designed to preserve the spatial, spectral, and temporal structure of EEG which leads to finding features that are less sensitive to variations and distortions within each dimension. Empirical evaluation on the cognitive load classification task demonstrated significant improvements in classification accuracy over current state-of-the-art approaches in this field.

研究动机与目标

• 为解决EEG数据中个体间和个体内变异以及噪声问题，这些因素阻碍了稳健的认知状态建模。
• 开发一种保留EEG信号空间、频谱和时间结构的表征学习方法。
• 通过在结构化的EEG图像序列上应用深度学习，而非原始时序向量，提升心理负荷分类的准确率。
• 通过将数据转换为标准化图像帧，构建一种与多种EEG硬件配置兼容的框架。

提出的方法

• 将多通道EEG时序信号转换为保持拓扑结构的多光谱图像序列，将每个时间窗视为“EEG电影”中的一个帧。
• 应用3D卷积神经网络从每个EEG帧中提取空间和频谱不变特征，捕捉电极和频带之间的局部模式。
• 整合长短期记忆（LSTM）网络以建模跨序列EEG帧的时间依赖性，学习随时间演变的动态模式。
• 使用去卷积网络（deconvnets）通过将特征图反投影到输入空间来可视化学习到的滤波器，揭示具有神经科学可解释性的模式。
• 使用带标签的心理负荷数据，通过监督学习端到端训练深度循环-卷积架构，以电极的空间坐标作为输入以实现数据集间的对齐。
• 作为未来扩展，利用合并或未标记的EEG数据集进行无监督预训练，以改善表征学习。

实验结果

研究问题

• RQ1 能否通过保留EEG数据空间、频谱和时间结构的深度学习模型，实现对个体间和个体内变异更强的鲁棒性？
• RQ2 与标准的基于向量的EEG特征处理相比，将EEG转换为多光谱图像序列是否能提升表征学习效果？
• RQ3 循环-卷积架构在多大程度上能学习到与已知认知负荷电生理标记一致的特征？
• RQ4 所提出的方法能否在具有不同电极配置的多种EEG硬件设置上实现泛化？

主要发现

• 与最先进方法相比，所提出方法在心理负荷任务的分类准确率上实现了显著提升，表现出对噪声和变异更强的鲁棒性。
• 去卷积可视化显示，早期层学习到的滤波器检测到广泛的θ波（1–7 Hz）和β波（13–30 Hz）活动，尤其在额区明显。
• 深层网络显示出越来越聚焦且频率选择性的检测器，包括顶区α波（8–12 Hz）活动，与已知的认知负荷神经生理标记一致。
• 尽管图像外观差异明显，但不同受试者和输入图像的特征图在激活模式上表现出强烈的相似性，表明实现了不变表征学习。
• 通过预处理将电极位置映射到标准化图像帧，使模型能够从不同电极配置中学习，从而支持数据集合并。
• 结果表明，基于EEG图像序列的端到端训练优于依赖手工特征的传统EEG分析流程。