[论文解读] Decoding Speech Envelopes from Electroencephalogram with a Contrastive Pearson Correlation Coefficient Loss

Yayun Liang, Yuanming Zhang+3 more|arXiv (Cornell University)|Jan 28, 2026

EEG and Brain-Computer Interfaces被引用 0

一句话总结

论文提出了对比的 Pearson 相关系数损失，以显式最大化关注与非关注信封相关性的差异，在多种模型和数据集上提升基于 EEG 的听觉关注解码。

ABSTRACT

Recent advances in reconstructing speech envelopes from Electroencephalogram (EEG) signals have enabled continuous auditory attention decoding (AAD) in multi-speaker environments. Most Deep Neural Network (DNN)-based envelope reconstruction models are trained to maximize the Pearson correlation coefficients (PCC) between the attended envelope and the reconstructed envelope (attended PCC). While the difference between the attended PCC and the unattended PCC plays an essential role in auditory attention decoding, existing methods often focus on maximizing the attended PCC. We therefore propose a contrastive PCC loss which represents the difference between the attended PCC and the unattended PCC. The proposed approach is evaluated on three public EEG AAD datasets using four DNN architectures. Across many settings, the proposed objective improves envelope separability and AAD accuracy, while also revealing dataset- and architecture-dependent failure cases.

研究动机与目标

• 在 EEG 基于解码中促进关注与非关注语音包络的更好分离。
• 提出将关注和非关注 PCC 结合的对比损失，以提升解码性能。
• 在多种 DNN 架构和三个公开 EEG 数据集上评估所提损失。
• 分析 PCC 差异与解码准确性的关系，并讨论跨数据集与模型的局限性。

提出的方法

• 将 EEG 基于包络重建建模为回归问题。
• 相对于多个并行说话者，定义关注 PCC 和非关注 PCC。
• 引入 L_DeltaPCC = -rho_a + (1/(N_speaker-1)) * sum(rho_u,j) 以促进关注-非关注分离。
• 使用 PCC 损失和 DeltaPCC 损失训练四种架构（VLAAI、LSM、EEGMamba、EEGDeformer）。
• 使用四折留一试验交叉验证和 AdamW 优化。
• 对 EEG 进行预处理（1–32 Hz，128 Hz），从 ERB gammatone 子带提取带宽包络，对齐数据。

实验结果

研究问题

• RQ1 提出的对比 DeltaPCC 损失是否在不同架构上相较标准 PCC 损失提升了解码准确性？
• RQ2 DeltaPCC 如何影响关注和非关注 PCC 的差异，以及这与 AAD 性能的关系？
• RQ3 改进是否在不同数据集（KUL、DTU、KUL-AV-GC）和窗口长度上具有一致性？
• RQ4 DeltaPCC 损失的有效性受到哪些数据/架构因素的影响及失效案例？

主要发现

• DeltaPCC 训练通常在模型和数据集上比 PCC 训练获得更高的解码准确性。
• DeltaPCC 增大关注-非关注 PCC 的差异，平均相对提升在各条件下为 17.84%。
• 解码准确性与 DeltaPCC 的相关性强于仅与关注 PCC 的相关性（DeltaPCC 的 R^2 > 0.5）。
• 某些模型/数据集在 DeltaPCC 下没有提升或出现下降，表明对数据特征和窗口长度敏感。
• 在更长的窗口（如 10 s）中提升更明显，且因数据集和模型而异。