[论文解读] Deep learning approaches for neural decoding: from CNNs to LSTMs and spikes to fMRI

Jesse A. Livezey, Joshua I. Glaser|arXiv (Cornell University)|May 19, 2020

EEG and Brain-Computer Interfaces被引用 5

一句话总结

本文综述了深度学习在神经解码中的应用，展示了卷积神经网络（CNNs）、长短期记忆网络（LSTMs）及其他架构如何提升从神经数据（如动作电位到fMRI）预测行为、感知和认知状态的准确性。文章强调了使用预训练网络作为复杂输出（如语音和图像）先验的作用，并探讨了迁移学习与可解释性技术在神经科学研究中的应用价值。

ABSTRACT

Decoding behavior, perception, or cognitive state directly from neural signals has applications in brain-computer interface research as well as implications for systems neuroscience. In the last decade, deep learning has become the state-of-the-art method in many machine learning tasks ranging from speech recognition to image segmentation. The success of deep networks in other domains has led to a new wave of applications in neuroscience. In this article, we review deep learning approaches to neural decoding. We describe the architectures used for extracting useful features from neural recording modalities ranging from spikes to EEG. Furthermore, we explore how deep learning has been leveraged to predict common outputs including movement, speech, and vision, with a focus on how pretrained deep networks can be incorporated as priors for complex decoding targets like acoustic speech or images. Deep learning has been shown to be a useful tool for improving the accuracy and flexibility of neural decoding across a wide range of tasks, and we point out areas for future scientific development.

研究动机与目标

• 综述深度学习在多种神经记录模态（包括动作电位、EEG、fMRI和fNIRS）中的神经解码应用。
• 评估不同深度学习架构（CNNs、RNNs、LSTMs）在特定神经数据类型和解码任务中的适用性。
• 探讨使用预训练深度网络作为先验，以解码高维输出（如语音和视觉图像）的可行性。
• 考察迁移学习与可解释性技术在提升泛化能力与神经解码中科学洞见方面的作用。
• 识别在数据效率、模型可解释性以及深度学习与神经科学研究整合方面存在的开放性挑战。

提出的方法

• 利用卷积神经网络（CNNs）从一维（动作电位、EEG）、二维（fMRI切片）和三维（体积fMRI）神经数据中提取分层的、平移不变的特征。
• 采用循环神经网络（RNNs）和长短期记忆网络（LSTMs）建模神经序列中的时间依赖性，实现对可变长度试验的灵活处理。
• 通过微调在大规模数据集（如ImageNet）上预训练的模型，应用迁移学习将神经活动解码为复杂输出（如图像或语音）。
• 在神经元或通道之间共享权重，以学习共享的、数据驱动的特征，减少在有限神经数据上的过拟合。
• 使用注意力机制和特征重要性方法，识别对预测最具显著性的神经输入（如特定神经元或时间点）。
• 采用标准深度学习框架（PyTorch、TensorFlow）及标准优化与损失函数，同时强调通过仔细的交叉验证防止过拟合。

实验结果

研究问题

• RQ1 不同深度学习架构（如CNNs、LSTMs）在多种神经记录模态中如何提升神经解码的准确性？
• RQ2 预训练深度网络在多大程度上可作为有效先验，用于从神经信号中解码高维输出（如语音或图像）？
• RQ3 迁移学习在数据有限或针对新受试者时，如何提升解码性能？
• RQ4 可解释性技术如何应用于理解神经解码器在神经科学背景下的学习转换过程？
• RQ5 当应用于信噪比较低或样本量较小的数据（如fMRI或fNIRS）时，深度学习在神经解码中的局限性是什么？

主要发现

• 深度学习模型，尤其是CNNs和LSTMs，在神经解码任务中优于线性方法和浅层模型，即使在相对较小的数据集上也表现优异。
• 预训练深度网络通过提供强大的归纳偏置，显著提升了对复杂输出（如语音和视觉图像）的解码准确性。
• 迁移学习可在数据有限的情况下，实现对新受试者或新输出的有效解码，减少对大规模重新训练的需求。
• 可解释性方法（如特征重要性分析和注意力机制）可识别出对解码输出最具预测力的神经输入（如特定神经元或时间点）。
• 尽管性能优异，解码器中学习到的表征同时受神经活动和先验知识（如来自预训练模型的信息）的影响，限制了对神经信息内容的直接推断。
• 过拟合在神经科学研究应用中仍是主要问题，尤其是在fMRI和fNIRS等数据稀疏且高维的场景下，因此必须通过仔细的交叉验证和正则化加以防范。