[论文解读] Classification of auditory stimuli from EEG signals with a regulated recurrent neural network reservoir

Marc-Antoine Moinnereau, Thomas Brienne+4 more|arXiv (Cornell University)|Apr 26, 2018

EEG and Brain-Computer Interfaces被引用 9

一句话总结

本研究提出一种受控循环神经网络（RNN）池化结构，用于从经过最少预处理的脑电信号中分类听觉英语元音（a、i、u），在使用全部64个导联的8名受试者中实现了83.2%的平均分类准确率。该方法优于深度神经网络（DNN），且在仅使用10个导联时仍保持81.7%的高准确率，证明了在原始脑电信号上进行端到端学习在听觉刺激分类任务中具有高效性，且预处理需求极低。

ABSTRACT

The use of electroencephalogram (EEG) as the main input signal in brain-machine interfaces has been widely proposed due to the non-invasive nature of the EEG. Here we are specifically interested in interfaces that extract information from the auditory system and more specifically in the task of classifying heard speech from EEGs. To do so, we propose to limit the preprocessing of the EEGs and use machine learning approaches to automatically extract their meaningful characteristics. More specifically, we use a regulated recurrent neural network (RNN) reservoir, which has been shown to outperform classic machine learning approaches when applied to several different bio-signals, and we compare it with a deep neural network approach. Moreover, we also investigate the classification performance as a function of the number of EEG electrodes. A set of 8 subjects were presented randomly with 3 different auditory stimuli (English vowels a, i and u). We obtained an excellent classification rate of 83.2% with the RNN when considering all 64 electrodes. A rate of 81.7% was achieved with only 10 electrodes.

研究动机与目标

• 探究受控RNN池化结构是否能有效从最少预处理的脑电信号中分类听觉刺激。
• 比较RNN池化结构与深度神经网络（DNN）在基于脑电信号分类听觉元音任务中的性能表现。
• 评估在不同脑电信号导联数量下分类准确率的变化情况。
• 为基于脑电信号的听觉言语分类建立基线，为未来想象言语解码研究提供基础。

提出的方法

• 在10-20脑电图导联系统定位的64个导联上记录脑电信号，受试者在接收元音a、i、u的听觉刺激时采集信号。
• 信号经标准0.1–45 Hz带通滤波处理，未进行其他特征工程。
• 采用受控RNN池化结构从脑电信号中学习时间动态特征，读出层通过线性回归进行训练。
• 将池化结构的内部状态作为分类表示，读出层将该表示映射至元音类别标签（a、i、u）。
• 以包含三个卷积层和最大池化层的DNN作为对比基线，采用Adam优化算法进行训练。
• 通过5折交叉验证评估分类性能，准确率以正确分类的元音试验比例衡量。

实验结果

研究问题

• RQ1 受控RNN池化结构是否能在极少脑电信号预处理下实现高元音分类准确率？
• RQ2 在相同的基于脑电信号的元音分类任务中，RNN池化结构与深度神经网络（DNN）的性能相比如何？
• RQ3 减少脑电信号导联数量对分类准确率有何影响？多少导联足以实现高性能？
• RQ4 RNN池化结构是否能有效捕捉皮层中与听觉处理相关的神经动力学特征？

主要发现

• 当使用全部64个脑电信号导联时，受控RNN池化结构在全部8名受试者中实现了83.2%的平均分类准确率。
• RNN显著优于DNN，其平均准确率分别为83.2%和48.6%。
• 仅使用10个导联时，分类准确率仍达到81.7%，表明在导联数量减少的情况下仍可实现高性能。
• 单个受试者中最高准确率为90.4%（RNN），最低为67.7%，表明受试者间存在差异，但整体表现优异。
• 元音'i'的分类准确率最高（87.0%），其次为'u'（81.3%）和'a'（81.1%），表明其在神经表征或可检测性上存在差异。
• 结果表明，极少预处理已足够实现高分类准确率，支持在基于脑电信号的听觉分类任务中采用端到端学习方法。