[论文解读] Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems

Gautam Krishna, Co Tran+2 more|arXiv (Cornell University)|Jun 1, 2020

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本文提出了一种基于循环神经网络架构的约束变分自编码器（VAE），用于从原始EEG信号中学习有意义的低维EEG表征，显著提升了基于EEG的连续语音识别与孤立词语音识别性能。该方法在词汇量增大时表现优于先前的方法，尤其在小词汇量数据集上，对连续与孤立语音任务均展现出更优性能。

ABSTRACT

In this paper we introduce a recurrent neural network (RNN) based variational autoencoder (VAE) model with a new constrained loss function that can generate more meaningful electroencephalography (EEG) features from raw EEG features to improve the performance of EEG based speech recognition systems. We demonstrate that both continuous and isolated speech recognition systems trained and tested using EEG features generated from raw EEG features using our VAE model results in improved performance and we demonstrate our results for a limited English vocabulary consisting of 30 unique sentences for continuous speech recognition and for an English vocabulary consisting of 2 unique sentences for isolated speech recognition. We compare our method with another recently introduced method described by authors in [1] to improve the performance of EEG based continuous speech recognition systems and we demonstrate that our method outperforms their method as vocabulary size increases when trained and tested using the same data set. Even though we demonstrate results only for automatic speech recognition (ASR) experiments in this paper, the proposed VAE model with constrained loss function can be extended to a variety of other EEG based brain computer interface (BCI) applications.

研究动机与目标

• 解决脑-计算机接口中EEG信号噪声大且维度高的挑战，以实现语音识别。
• 利用深度表征学习提升基于EEG的自动语音识别（ASR）系统性能。
• 开发一种约束VAE，以生成比标准VAE更具语义意义的EEG特征。
• 在连续与孤立语音识别任务上验证所提方法的有效性。
• 使该模型可广泛应用于其他基于EEG的脑-计算机接口（BCI）应用。

提出的方法

• 设计了一种基于循环神经网络的变分自编码器（RNN-VAE），以建模原始EEG序列中的时序依赖性。
• 提出一种新型约束损失函数，用于正则化潜在空间，鼓励学习解耦且有意义的表征。
• 模型学习在原始EEG输入条件下对潜在变量的后验分布，并通过重参数化实现端到端训练。
• 约束损失引入结构归纳偏差，以提升学习表征的解耦性与泛化能力。
• 对VAE进行微调，以生成紧凑且具有判别性的EEG嵌入，适用于下游ASR任务。
• 在两个ASR基准上评估该方法：一个包含30个连续句子，另一个包含2个孤立句子。

实验结果

研究问题

• RQ1 与标准VAE相比，基于RNN架构的约束VAE能否从原始EEG信号中学习到更具意义且解耦的表征？
• RQ2 所提方法是否能提升基于EEG的连续与孤立语音识别系统的识别准确率？
• RQ3 与先前方法相比，该方法在词汇量增加时的性能表现如何？
• RQ4 所学习的EEG特征是否具备跨不同语音识别任务的泛化能力，并可扩展至其他BCI应用？
• RQ5 约束损失函数对学习潜在表征的质量与判别性有何影响？

主要发现

• 所提出的约束VAE在基于EEG信号的连续与孤立语音识别任务中，显著提升了语音识别性能。
• 该方法优于近期提出的基线方法[1]，尤其在词汇量增大时优势更明显。
• 在30个连续句子的词汇量下，该模型在连续语音识别任务中实现了优于基线的识别准确率。
• 在2个孤立句子的词汇量下，该模型在孤立语音识别任务中展现出鲁棒性能，得益于生成的EEG特征。
• 约束损失函数促使潜在表征更具解耦性与语义意义，从而提升下游ASR性能。
• 该模型的架构与训练方案具有通用性，可推广至语音识别以外的其他基于EEG的BCI应用。