[论文解读] An end-to-end (deep) neural network applied to raw EEG, fNIRs and body motion data for data fusion and BCI classification task without any pre-/post-processing

Aras R. Dargazany, Mohammadreza Abtahi+1 more|arXiv (Cornell University)|Jul 17, 2019

EEG and Brain-Computer Interfaces参考文献 19被引用 11

一句话总结

该论文提出了一种端到端的深度神经网络，利用原始、未经处理的EEG、fNIRS和运动捕捉（MoCap）数据对人类运动活动进行分类，无需任何预处理或后处理。该模型基于包含批量归一化和漏失ReLu的四层MLP，其在10名受试者、5类活动识别任务上的测试准确率超过90%，证明了深度学习可以在脑机接口（BCI）系统中绕过传统信号预处理。

ABSTRACT

Brain computer interfaces (BCI) using EEG, fNIRS and body motion (MoCap) data are getting more attention due to the fact that fNIRS and MoCap are not prone to movement artifacts similar to other brain imaging techniques such as EEG. Advancements in deep learning (neural networks) would allow the use of raw data for efficient feature extraction without any pre-/post-processing. In this work, we are performing human activity recognition (BCI classification task) for 5 activity classes using an end-to-end (deep) neural network (NN) (from input all the way to the output) on raw fNIRS, EEG and MoCap data. Our core contribution is focused on applying an end-to-end NN model without any pre-/post-processing on the data. The entire NN model is being trained using backpropagation algorithm. Our end-to-end model is composed of a four-layered MLP: input layer, two hidden layers (using fully connected (dense) layer, batch normalization and leaky-RELU as non-linearity and activation function), and output layer using softmax. We have reached minimum 90\% accuracy on the test dataset for the classification task on 10 subjects data and 5 classes of activity.

研究动机与目标

• 消除脑机接口（BCI）分类流程中的人工预处理和特征提取。
• 评估端到端深度学习是否能在未经处理的多模态神经生理学和运动数据上实现高准确率。
• 证明深度神经网络能够自动从原始信号中学习相关特征，而无需滤波或去噪。
• 验证使用原始fNIRS、EEG和MoCap数据的完全自动化、数据驱动的BCI分类系统的可行性。
• 将端到端模型的性能与使用相同数据集的传统流程进行比较。

提出的方法

• 使用Adam优化器通过反向传播在原始、未经处理的EEG、fNIRS和MoCap信号上训练端到端的深度神经网络。
• 模型架构为四层MLP：输入层，两个带有全连接（密集）层、批量归一化和漏失ReLu激活的隐层，随后是Softmax输出层。
• 在输入网络之前，未应用任何数据滤波、下采样或特征提取。
• 网络在10名受试者执行5种运动活动（左右臂/腿、双臂）的原始时间序列数据上进行端到端训练。
• 模型使用带有Softmax输出的分类交叉熵损失函数进行多分类任务。
• 实现代码和数据集已公开发布于GitHub，以确保可复现性。

实验结果

研究问题

• RQ1 端到端的深度神经网络是否能在未经处理的原始EEG、fNIRS和MoCap数据上实现高分类准确率，用于BCI任务？
• RQ2 在使用深度学习时，是否需要人工预处理或特征提取才能实现准确的BCI分类？
• RQ3 与依赖手工特征的传统BCI流程相比，端到端模型的性能如何？
• RQ4 简单的MLP架构是否能有效从原始多模态神经生理信号中学习判别性模式？
• RQ5 缺乏预处理是否会影响模型在不同受试者之间的泛化能力或鲁棒性？

主要发现

• 端到端的深度神经网络在使用原始fNIRS、EEG和MoCap数据进行5类人类活动识别时，测试集的最低分类准确率达到90%以上。
• 该模型表明，诸如滤波、去噪和特征提取等预处理步骤并非高性能BCI分类所必需。
• 该网络在仅使用原始fNIRS数据的情况下也达到了77–80%的准确率，表明即使在单一模态下也具有优异性能。
• 结果验证了深度神经网络能够自动从原始时间序列信号中学习到相关联的局部和全局特征。
• 该实现已公开发布于GitHub，便于复现和进一步基准测试。
• 本研究表明，未来的BCI系统可采用完全自动化、数据驱动的流程，而无需依赖人工信号处理。