[论文解读] A Survey on Deep Learning-based Non-Invasive Brain Signals:Recent Advances and New Frontiers

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|May 10, 2019

EEG and Brain-Computer Interfaces参考文献 264被引用 18

一句话总结

本综述回顾了深度学习在非侵入性脑信号分析中的最新进展，涵盖EEG、fNIRS和fMRI。它提出了脑信号的分类体系，评估了用于自动特征提取和分类的深度学习技术，并强调了在医疗保健、脑机接口（BCI）和人机交互中的实际应用，同时指出了实时处理、数据效率和硬件便携性方面的关键挑战。

ABSTRACT

Brain-Computer Interface (BCI) bridges the human's neural world and the outer physical world by decoding individuals' brain signals into commands recognizable by computer devices. Deep learning has lifted the performance of brain-computer interface systems significantly in recent years. In this article, we systematically investigate brain signal types for BCI and related deep learning concepts for brain signal analysis. We then present a comprehensive survey of deep learning techniques used for BCI, by summarizing over 230 contributions most published in the past five years. Finally, we discuss the applied areas, opening challenges, and future directions for deep learning-based BCI.

研究动机与目标

• 提供非侵入性脑信号及其分析中所用深度学习模型的全面分类体系。
• 总结脑信号解码中用于特征提取和分类的最先进深度学习技术。
• 识别深度学习在脑信号分析中的实际应用，包括辅助技术和神经诊断。
• 突出在在线实现、数据效率和硬件便携性方面面临的关键挑战，以促进实际部署。
• 为研究人员在不同类型的非侵入性脑信号中选择合适的深度学习架构提供指导。

提出的方法

• 根据采集方法、信号特性及应用，对非侵入性脑信号（EEG、fNIRS、fMRI、MEG）进行分类。
• 回顾核心深度学习架构（如CNNs、RNNs、自编码器和Transformer）在端到端脑信号处理中的应用。
• 分析信号预处理流程，包括去噪、归一化和降维，以提高信噪比。
• 评估结合传统信号处理与深度学习的混合模型，以提升特征表示能力。
• 讨论自监督和半监督学习方法，以应对脑信号研究中标签数据有限的挑战。
• 考察在线推理策略及后处理技术（例如投票、聚合），以在实时系统中平衡准确率与延迟。

实验结果

研究问题

• RQ1 与传统机器学习相比，深度学习模型在非侵入性脑信号分析中如何提升特征提取和分类准确率？
• RQ2 针对不同类型的非侵入性脑信号（如EEG、fNIRS、fMRI），哪些深度学习架构最为有效？
• RQ3 自监督和半监督学习如何缓解标签数据稀缺带来的挑战？
• RQ4 在脑信号系统中实现深度学习模型的实时在线处理面临哪些主要障碍？
• RQ5 为实现便携、可穿戴且用户友好的日常脑信号采集，需要哪些硬件技术进步？

主要发现

• 深度学习模型在脑信号分类中显著优于传统分类器，减少了对手动特征工程的依赖。
• 端到端深度学习方法的准确率高于依赖时域、频域或时频域手工特征的传统处理流程。
• 由于实时数据流中噪声增加和稳定性下降，在线脑信号系统通常比离线系统性能下降约10%。
• 自监督和无监督域自适应技术在标签数据稀缺时表现出提升模型泛化能力的潜力。
• 耳部EEG传感器代表了一条有前景但尚未充分开发的可穿戴、舒适且便携的脑信号采集新方向。
• 投票和聚合等后处理方法可提升在线解码性能，但会引入延迟，需在速度与准确率之间权衡。