[论文解读] Inner speech recognition through electroencephalographic signals

Francesca Gasparini, Elisa Cazzaniga+1 more|arXiv (Cornell University)|Oct 11, 2022

EEG and Brain-Computer Interfaces被引用 11

一句话总结

本研究提出一种基于深度学习的内省语音识别方法，利用EEG信号，通过双向长短期记忆（BiLSTM）网络从原始多通道EEG数据中分类想象中的词汇。在'Thinking Out Loud'数据集上，该方法实现了36.1%的平均准确率，超过现有最先进方法，证明了端到端原始EEG输入与BiLSTM模型在非侵入性脑-计算机接口中实现无声交流的有效性。

ABSTRACT

This work focuses on inner speech recognition starting from EEG signals. Inner speech recognition is defined as the internalized process in which the person thinks in pure meanings, generally associated with an auditory imagery of own inner "voice". The decoding of the EEG into text should be understood as the classification of a limited number of words (commands) or the presence of phonemes (units of sound that make up words). Speech-related BCIs provide effective vocal communication strategies for controlling devices through speech commands interpreted from brain signals, improving the quality of life of people who have lost the capability to speak, by restoring communication with their environment. Two public inner speech datasets are analysed. Using this data, some classification models are studied and implemented starting from basic methods such as Support Vector Machines, to ensemble methods such as the eXtreme Gradient Boosting classifier up to the use of neural networks such as Long Short Term Memory (LSTM) and Bidirectional Long Short Term Memory (BiLSTM). With the LSTM and BiLSTM models, generally not used in the literature of inner speech recognition, results in line with or superior to those present in the stateof-the-art are obtained.

研究动机与目标

• 开发一种非侵入性脑-计算机接口（BCI），用于解码内省语音，基于EEG信号。
• 解决由于公开数据集有限且噪声较多，导致内省语音识别分类准确率低的挑战。
• 评估多种机器学习与深度学习模型在公开可用的内省语音EEG数据集上的性能。
• 探究在不进行大量特征工程的情况下，使用原始EEG数据是否能优于手工设计的特征。
• 验证最佳性能模型在不同实验协议和数据集上的泛化能力。

提出的方法

• 本研究使用两个公开的内省语音EEG数据集：'Thinking Out Loud'和'Imagined Speech'，其采集实验协议相似。
• 所有电极的原始多通道EEG数据被用作输入，以避免先前特征选择或预处理带来的偏差。
• 采用BiLSTM神经网络架构，包括一个BiLSTM层，随后是两个使用ReLU激活函数的全连接层，以及一个最终的Softmax输出层。
• 通过应用Dropout层来减少过拟合，模型使用随机梯度下降（SGD）和分类交叉熵损失进行训练。
• 将性能与传统模型（包括SVM、XGBoost、LSTM和EEGNet）进行比较，使用原始数据和提取的特征（如功率谱密度（PSD）和相对小波能量（RWE））。
• 对个体进行特定性能评估，以评估个体间差异性和鲁棒性。

实验结果

研究问题

• RQ1 在内省语音识别中，使用原始EEG数据训练的BiLSTM模型是否能比传统模型获得更高的分类准确率？
• RQ2 在不进行特征工程的情况下，使用原始多通道EEG数据是否能优于使用PSD或RWE等手工特征？
• RQ3 最佳模型在使用相似协议采集的不同内省语音数据集上的性能如何？
• RQ4 导致个体间性能差异的因素是什么，特别是对准确率较低的受试者？
• RQ5 该模型的性能在多大程度上超过随机水平，并优于多类内省语音分类的最先进结果？

主要发现

• BiLSTM模型在'Thinking Out Loud'数据集上，使用所有通道的原始EEG数据，实现了36.1%的平均准确率，显著高于25%的随机水平。
• 该性能优于以往最先进结果，包括SVM（26.2%）、XGBoost（27.9%）和LSTM（30.4%）在相同数据集上的表现。
• BiLSTM模型在'Imagined Speech'数据集上实现了25.1%的准确率，高于16.7%的随机水平，证实了其在相似数据集上的泛化能力。
• 受试者4和5的性能始终较低（分别为31.67%和33.67%），表明可能存在数据质量或电极放置问题，而非注意力或任务执行问题。
• 使用所有通道的原始EEG数据优于特征工程输入，表明BiLSTM通过更深层次的时间建模能够捕捉到更多相关的神经模式。
• 本研究证实，BiLSTM模型在从EEG中实现端到端内省语音识别方面是有效的，优于传统模型，为实时BCI应用铺平了道路。