[论文解读] A Novel Deep Learning Architecture for Decoding Imagined Speech from EEG

Jerrin Thomas Panachakel, A. G. Ramakrishnan+1 more|arXiv (Cornell University)|Mar 19, 2020

EEG and Brain-Computer Interfaces参考文献 16被引用 24

一句话总结

该论文提出了一种新颖的深度学习架构，将单个EEG导联视为独立的数据向量，以增加用于解码想象言语的训练样本。通过结合通用空间模式（CSP）进行导联选择、离散小波变换（DWT）进行特征提取，以及四层深度神经网络（DNN）结合多数投票机制，该方法在ASU想象言语数据集上实现了71.8% ± 8.6%的平均准确率，证明了在EEG基言语解码的低数据环境下使用DNN的可行性。

ABSTRACT

The recent advances in the field of deep learning have not been fully utilised for decoding imagined speech primarily because of the unavailability of sufficient training samples to train a deep network. In this paper, we present a novel architecture that employs deep neural network (DNN) for classifying the words "in" and "cooperate" from the corresponding EEG signals in the ASU imagined speech dataset. Nine EEG channels, which best capture the underlying cortical activity, are chosen using common spatial pattern (CSP) and are treated as independent data vectors. Discrete wavelet transform (DWT) is used for feature extraction. To the best of our knowledge, so far DNN has not been employed as a classifier in decoding imagined speech. Treating the selected EEG channels corresponding to each imagined word as independent data vectors helps in providing sufficient number of samples to train a DNN. For each test trial, the final class label is obtained by applying a majority voting on the classification results of the individual channels considered in the trial. We have achieved accuracies comparable to the state-of-the-art results. The results can be further improved by using a higher-density EEG acquisition system in conjunction with other deep learning techniques such as long short-term memory.

研究动机与目标

• 为解决EEG基想象言语解码中深度学习面临的训练数据有限问题。
• 探索在EEG基脑机接口的低数据环境下使用深度神经网络（DNN）作为分类器的可行性。
• 通过将选定的EEG导联视为独立输入向量，增加有效训练样本规模，以提升分类性能。
• 在ASU想象言语数据集上验证所提出的架构，实现对'in'和'cooperate'的二分类任务。

提出的方法

• 每项试验中，使用通用空间模式（CSP）方法选择九个最具判别力的EEG导联，以最大化类间方差。
• 对每个选定的导联应用离散小波变换（DWT），为每个导联提取12维特征向量。
• 对于每项试验，通过连接两个最具判别力的导联（分别来自最大和最小空间滤波器）的DWT特征，生成九个24维特征向量。
• 使用包含四层全连接层（每层40个神经元）、ReLU和双曲正切激活函数、批量归一化以及Dropout（分别为10%和30%）的深度神经网络（DNN）对24维特征向量进行训练。
• 通过每项试验中九个导联特异性DNN输出的多数投票机制执行最终分类。
• 采用10折交叉验证，并严格划分数据以防止数据泄露，确保每项试验的所有导联均属于同一集合（训练集或测试集）。

实验结果

研究问题

• RQ1 将单个EEG导联视为独立数据向量，是否能有效增加想象言语解码中深度学习的训练样本规模？
• RQ2 所提出的基于DNN的分类器与传统方法（如SVM、ELM、RVM）相比，在从EEG信号分类想象词汇时表现如何？
• RQ3 通过CSP进行导联选择和通过DWT进行特征提取，在低数据想象言语场景下的分类准确率中产生何种影响？
• RQ4 在EEG基言语解码中，通过导联特异性DNN预测结果进行多数投票能否提升鲁棒性和准确率？
• RQ5 在训练数据有限的条件下，深度学习在想象言语解码中的有效应用程度如何？

主要发现

• 所提方法在四名受试者（S1、S5、S8、S9）上实现了71.8% ± 8.6%的平均交叉验证准确率，优于多种基线方法，包括CSP+SVM和统计特征+ELM。
• 受试者S9达到最高准确率86.2% ± 8.7%，表明其个体性能表现优异；S8表现最低，为71.0% ± 5.3%。
• 该方法的准确率（71.8% ± 8.6%）低于最先进方法Tangent + RVM Method (2)的77.6% ± 5.7%，但仍展现出强劲的竞争力。
• 验证了在想象言语解码中使用DNN作为分类器的可行性，该架构在训练数据有限的情况下仍具可行性。
• 该方法具有可扩展性，预计在更高密度EEG系统（如128导联）下性能将进一步提升，因为这将增加训练数据量并支持更复杂的模型。
• 多数投票策略有效整合了各导联特异性DNN的预测结果，增强了鲁棒性并提升了整体准确率。