[论文解读] Converting Your Thoughts to Texts: Enabling Brain Typing via Deep Feature Learning of EEG Signals

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|Sep 26, 2017

EEG and Brain-Computer Interfaces参考文献 20被引用 10

一句话总结

该论文提出了一种混合深度学习框架，结合卷积神经网络与循环神经网络（CNN-LSTM）及自编码器，用于实现脑识别中稳健的脑电信号分类。该模型在公开的EEG数据集上达到95.53%的准确率，在真实世界数据集上达到94.27%的准确率，通过有效捕捉时空特征并减少伪影引起的噪声，优于当前最先进方法。

ABSTRACT

An electroencephalography (EEG) based Brain Computer Interface (BCI) enables people to communicate with the outside world by interpreting the EEG signals of their brains to interact with devices such as wheelchairs and intelligent robots. More specifically, motor imagery EEG (MI-EEG), which reflects a subjects active intent, is attracting increasing attention for a variety of BCI applications. Accurate classification of MI-EEG signals while essential for effective operation of BCI systems, is challenging due to the significant noise inherent in the signals and the lack of informative correlation between the signals and brain activities. In this paper, we propose a novel deep neural network based learning framework that affords perceptive insights into the relationship between the MI-EEG data and brain activities. We design a joint convolutional recurrent neural network that simultaneously learns robust high-level feature presentations through low-dimensional dense embeddings from raw MI-EEG signals. We also employ an Autoencoder layer to eliminate various artifacts such as background activities. The proposed approach has been evaluated extensively on a large- scale public MI-EEG dataset and a limited but easy-to-deploy dataset collected in our lab. The results show that our approach outperforms a series of baselines and the competitive state-of-the- art methods, yielding a classification accuracy of 95.53%. The applicability of our proposed approach is further demonstrated with a practical BCI system for typing.

研究动机与目标

• 通过提高运动想象（MI-EEG）信号解码的准确性，实现实时脑打字。
• 解决EEG信号中信噪比低、维度高以及个体间差异性大的挑战。
• 开发统一的深度学习模型，以捕捉原始EEG数据中的空间与时间依赖性。
• 通过引入自编码器层消除伪影，减少对手动特征工程的依赖，提升模型鲁棒性。
• 通过使用公开数据集与自建EEG数据集，展示实际应用潜力，构建实时脑打字系统。

提出的方法

• 采用联合卷积循环神经网络（CNN-LSTM）从原始MI-EEG信号中提取分层的空间与时间特征。
• CNN模块从多个电极获取的EEG信号中学习局部空间模式与高层次表征。
• LSTM模块用于建模EEG信号流中的长程时间依赖性与序列动态。
• 集成自编码器以对输入EEG信号去噪，并去除背景噪声与运动干扰等伪影。
• 将CNN-LSTM提取的堆叠特征输入XGBoost分类器，用于意图识别与多分类。
• 模型在原始EEG数据上端到端训练，无需大量手动特征工程或领域特定预处理。

实验结果

研究问题

• RQ1 深度学习框架能否在高准确率下有效解码原始MI-EEG信号，实现多类脑打字？
• RQ2 与传统方法相比，CNN、LSTM与自编码器的集成在提升鲁棒性与分类性能方面有何改善？
• RQ3 该模型在通道数量与记录条件各异的EEG数据集上，泛化能力如何？
• RQ4 电极位置与用户心理状态等实际部署因素对在线分类准确率有何影响？
• RQ5 在极少进行个体特定适应的情况下，该框架能否在跨人场景中实现高性能？

主要发现

• 所提出的框架在公开的eegmmidb数据集上实现95.53%的分类准确率，显著优于现有最先进方法。
• 在包含14个通道的自建Emotiv数据集上，模型达到94.27%的准确率，表明即使电极数量较少，仍具备强大泛化能力。
• 模型在离线设置下的性能（超过95%）高于在线部署表现，表明对现实世界变异因素较为敏感。
• 自编码器层的引入通过减少EEG信号中的噪声与伪影，提升了模型鲁棒性与分类稳定性。
• CNN-LSTM架构能有效捕捉空间模式与时间动态，实现对运动想象意图的高保真解码。
• 结果表明，从原始EEG信号中学习深层特征，可实现高精度、实用化的实时脑打字系统。