[论文解读] DeWave: Discrete EEG Waves Encoding for Brain Dynamics to Text Translation

Yiqun Duan, Jinzhao Zhou+3 more|arXiv (Cornell University)|Sep 25, 2023

EEG and Brain-Computer Interfaces被引用 15

一句话总结

DeWave 引入离散 codex 编码，将单词级 EEG 特征与原始 EEG 波转换为开放词汇文本，在 ZuCo 上达到最先进的 BLEU/ROUGE，并实现无需事件标记的原始波翻译。

ABSTRACT

The translation of brain dynamics into natural language is pivotal for brain-computer interfaces (BCIs). With the swift advancement of large language models, such as ChatGPT, the need to bridge the gap between the brain and languages becomes increasingly pressing. Current methods, however, require eye-tracking fixations or event markers to segment brain dynamics into word-level features, which can restrict the practical application of these systems. To tackle these issues, we introduce a novel framework, DeWave, that integrates discrete encoding sequences into open-vocabulary EEG-to-text translation tasks. DeWave uses a quantized variational encoder to derive discrete codex encoding and align it with pre-trained language models. This discrete codex representation brings forth two advantages: 1) it realizes translation on raw waves without marker by introducing text-EEG contrastive alignment training, and 2) it alleviates the interference caused by individual differences in EEG waves through an invariant discrete codex with or without markers. Our model surpasses the previous baseline (40.1 and 31.7) by 3.06% and 6.34%, respectively, achieving 41.35 BLEU-1 and 33.71 Rouge-F on the ZuCo Dataset. This work is the first to facilitate the translation of entire EEG signal periods without word-level order markers (e.g., eye fixations), scoring 20.5 BLEU-1 and 29.5 Rouge-1 on the ZuCo Dataset.

研究动机与目标

• 通过实现不依赖眼动标记或事件标签的开放词汇 EEG-to-文本翻译，桥接脑动力学与自然语言。
• 引入一种离散 codex 表征，将 EEG 特征与预训练语言模型对齐。
• 通过自监督编码与文本对比学习，实现直接从原始 EEG 波翻译成文本。

提出的方法

• 使用向量量化变分编码器从 EEG 表征生成离散 codex。
• 将离散 codex 与预训练语言模型（BART）对齐，以生成文本。
• 通过自我重构损失、EEG-文本对比对齐和 codex 一致性损失的组合进行训练。
• 对于单词级 EEG，将眼睛凝视分段特征编码为嵌入并映射到 codex 记号。
• 对于原始 EEG 波，采用自监督的 Conformer 基编码器生成嵌入，再量化为 codex 记号。

实验结果

研究问题

• RQ1 离散 codex 编码是否能提高对跨被试 EEG 变异性的鲁棒性，从而实现开放词汇的 EEG-to-文本翻译？
• RQ2 是否可在没有单词级事件标记（如眼动凝视）的情况下，使用离散潜在空间将 EEG 信号翻译为文本？
• RQ3 将 EEG 推导的 codex 记号与预训练语言模型对齐对 EEG-to-文本任务的翻译质量有何影响？

主要发现

• 在单词级 EEG 特征上，DeWave 的 BLEU-1 为 41.35，ROUGE-1 为 28.82，在一个指标设定中较基线提升了 1.23 BLEU-1 和 0.00 ROUGE-1。
• 在单词级 EEG 特征上，DeWave 达到 BLEU-1 41.35、BLEU-2 24.15、BLEU-3 13.92、BLEU-4 8.22、ROUGE-1 recall 28.82、ROUGE-1 precision 33.71、ROUGE-1 F1 30.69。
• 在原始 EEG 波上，DeWave 实现 BLEU-1 20.51 和 ROUGE-1 21.18，显著超过使用简单时间窗口切片的基线。
• 结合对比学习（DeWave+Contrastive）后，BLEU-1 提升至 21.09，ROUGE-1 提升至 22.01，表明跨模态对齐带来联合收益。
• 相比 ZuCo 上的先前 EEG-to-text 基线，在开放词汇设置（单词级特征）下，DeWave 将 BLEU-1 提升约 3.06%，ROUGE-1 提升约 6.34%。
• DeWave 展示了首次在开放词汇框架下从原始 EEG 波到文本的翻译，并在此情境下实现 BLEU-1 20.51 和 ROUGE-1 29.42。