[论文解读] BrainRVQ: A High-Fidelity EEG Foundation Model via Dual-Domain Residual Quantization and Hierarchical Autoregression

Mingzhe Cui, Tao Chen+5 more|arXiv (Cornell University)|Feb 18, 2026

EEG and Brain-Computer Interfaces被引用 0

一句话总结

BrainRVQ 引入双域残差向量量化tokenizer 和带有重要性引导课程掩码的分层自回归预训练，以学习高保真 EEG 表征，在8个下游 EEG 任务中达到最先进的结果。

ABSTRACT

Developing foundation models for electroencephalography (EEG) remains challenging due to the signal's low signal-to-noise ratio and complex spectro-temporal non-stationarity. Existing approaches often overlook the hierarchical latent structure inherent in neural dynamics, leading to suboptimal reconstruction of fine-grained information. In this work, we propose BrainRVQ, a general-purpose EEG foundation model pre-trained on a large-scale corpus of clinical EEG data. Unlike standard masked modeling, BrainRVQ features a Dual-Domain Residual Vector Quantization (DD-RVQ) tokenizer that disentangles temporal waveforms and spectral patterns into hierarchical discrete codes. We further introduce a hierarchical autoregressive pre-training objective that learns to reconstruct these codes in a coarse-to-fine manner, utilizing an importance-guided curriculum masking strategy to prioritize information-rich neural events over background noise. Extensive experiments across 8 diverse downstream datasets demonstrate that BrainRVQ consistently outperforms state-of-the-art baselines, validating its effectiveness in learning robust and generalizable neural representations. Our code and model weights are available:https://github.com/keqicmz/BrainRVQ

研究动机与目标

• 由于 EEG 信号的低信噪比和非平稳性，激发对高保真 EEG 基础模型的需求。
• 提出 DD-RVQ，联合编码时域和频域信息以获得更丰富的表征。
• 引入带教师强制的分层自回归预训练和一个重要性引导的课程掩码。
• 在大型临床 EEG 语料上进行预训练，并在多种下游任务上验证泛化能力。
• 展示在多项基线 EEG 任务上优于最先进方法的性能。

提出的方法

• Dual-Domain Residual Vector Quantization (DD-RVQ) tokenization，能够在时域和频域生成分层编码。
• 共享编码器，具备 temporal 和 frequency RVQ 分支，以及用于波形和频谱重建的域特定解码器。
• Hierarchical Autoregressive Pre-training，使用教师强制来建模粗粒度到细粒度的依赖关系。
• Importance-Guided Curriculum Masking，通过生理学感知评分和课程调度来优先关注信息丰富的神经事件。
• 在 Temple University Hospital EEG Corpus (TUEG) 上进行预训练，采用 12 层 Transformer 编码器和 RVQ 码本；下游适配器通过在八个 EEG 数据集上微调实现。

实验结果

研究问题

• RQ1 双域（时域和频域）tokenization 是否能提高 EEG 表征保真度，相对于单域方法？
• RQ2 分层残差量化结合自回归学习是否在下游表现上优于平坦或单层 tokenization？
• RQ3 重要性引导的课程掩码策略是否能提升学习效率并实现对多样 EEG 任务的迁移？
• RQ4 BrainRVQ 在癫痫检测、情绪识别、睡眠分期和运动想象等任务上的泛化能力如何？

主要发现

• BrainRVQ 在八个下游 EEG 数据集上稳定超越最先进基线。
• 在代表性任务中，BrainRVQ 在多项指标上达到最高分，包括 AUROC、AUC-PR 和平衡精度。
• 消融实验表明双域 tokenization、分层自回归和重要性引导掩码均对性能提升贡献显著。
• 该模型在癫痫检测、认知负荷评估和运动想象分类等任务上表现出色。
• 分层残差量化提供了更高的表征粒度，尤其对细粒度运动想象信号表现优越。