[论文解读] Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification

Zhenhailong Wang, Heng Ji|arXiv (Cornell University)|Dec 5, 2021

EEG and Brain-Computer Interfaces被引用 4

一句话总结

该论文提出了一种新颖的开放词汇脑电图（EEG）到文本的解码框架，利用微调的预训练语言模型（如 BART）从非侵入性 EEG 信号中解码出完整的英文句子，实现了 40.1% 的 BLEU-1 分数，并在零样本情感分类任务中达到 55.6% 的 F1 分数，显著优于监督基线方法，且在不同受试者和数据源之间展现出良好的泛化能力。

ABSTRACT

State-of-the-art brain-to-text systems have achieved great success in decoding language directly from brain signals using neural networks. However, current approaches are limited to small closed vocabularies which are far from enough for natural communication. In addition, most of the high-performing approaches require data from invasive devices (e.g., ECoG). In this paper, we extend the problem to open vocabulary Electroencephalography(EEG)-To-Text Sequence-To-Sequence decoding and zero-shot sentence sentiment classification on natural reading tasks. We hypothesis that the human brain functions as a special text encoder and propose a novel framework leveraging pre-trained language models (e.g., BART). Our model achieves a 40.1% BLEU-1 score on EEG-To-Text decoding and a 55.6% F1 score on zero-shot EEG-based ternary sentiment classification, which significantly outperforms supervised baselines. Furthermore, we show that our proposed model can handle data from various subjects and sources, showing great potential for a high-performance open vocabulary brain-to-text system once sufficient data is available

研究动机与目标

• 为解决封闭词汇脑-文本系统存在的局限性，实现从非侵入性 EEG 信号中进行开放词汇解码。
• 探究预训练语言模型是否可作为有效的文本编码器用于脑信号解码，利用其上下文和语义表征能力。
• 仅使用 EEG 特征实现零样本情感分类，无需任何标注的情感数据。
• 提升在多样化受试者和 EEG 数据源之间的泛化能力，增强脑机接口（BCI）在真实场景中的可扩展性。
• 展示预训练模型在低数据、高可变性脑信号解码场景下的迁移学习潜力。

提出的方法

• 将预训练的 BART 模型微调为解码器，与多层 Transformer 编码器（MTE）联合训练，将 EEG 特征映射到上下文化的语义空间。
• 采用联合训练目标，通过序列到序列学习将 EEG 编码表示与真实文本序列对齐。
• 利用 BART 的丰富语言归纳偏置（包括句法、语义及长距离依赖建模能力），以补偿 EEG-文本配对数据有限的问题。
• 通过将解码后的文本输出分类为正面、负面或中性情感，将同一微调模型应用于零样本情感分类任务。
• 采用包含 50,265 个词元的大规模开放词汇 BART 分词器，以支持完整的英文词汇覆盖。
• 在来自多个受试者和数据源的 EEG 数据上进行训练与评估，包括自然阅读任务中的非侵入性 EEG 记录。

实验结果

研究问题

• RQ1 像 BART 这类预训练语言模型能否有效从非侵入性 EEG 信号中解码开放词汇文本？
• RQ2 所提出的框架是否能在无需微调的情况下，跨不同受试者和 EEG 数据源实现泛化？
• RQ3 该模型能否仅基于 EEG 输入实现零样本句子级情感分类，而无需任何标注的情感数据？
• RQ4 多层 Transformer 编码器（MTE）和预训练语言模型权重的引入，对解码性能有何影响？
• RQ5 该模型在未见词汇和句子上的泛化能力有多强，即在训练数据中未出现的词汇和句子上表现如何？

主要发现

• 所提出的框架在开放词汇 EEG 到文本解码任务中实现了 40.1% 的 BLEU-1 分数，显著优于监督基线方法。
• 该模型在零样本 EEG 基础的三元情感分类任务中达到 55.6% 的 F1 分数，展现出强大的零样本泛化能力。
• 消融实验证实，预训练的 BART 权重和多层 Transformer 编码器（MTE）均至关重要，若任一组件被移除，性能将显著下降。
• 该模型在不同受试者和 EEG 数据源之间均表现出有效的泛化能力，表明其对个体间差异和数据源差异具有强鲁棒性。
• 该框架能够成功解码出训练词汇表中未包含但语义相关的词语，表明其泛化能力已超越封闭词汇的限制。
• 结果表明，预训练语言模型可作为低数据、高可变性脑信号解码任务中的强大归纳偏置。