[论文解读] BrainRVQ: A High-Fidelity EEG Foundation Model via Dual-Domain Residual Quantization and Hierarchical Autoregression

Mingzhe Cui, Tao Chen+5 more|arXiv (Cornell University)|Feb 18, 2026

EEG and Brain-Computer Interfaces被引用 0

一句话总结

BrainRVQ 引入双域残差向量量化tokenizer 和带有重要性引导课程掩码的分层自回归预训练，以学习高保真 EEG 表征，在8个下游 EEG 任务中达到最先进的结果。

ABSTRACT

Developing foundation models for electroencephalography (EEG) remains challenging due to the signal's low signal-to-noise ratio and complex spectro-temporal non-stationarity. Existing approaches often overlook the hierarchical latent structure inherent in neural dynamics, leading to suboptimal reconstruction of fine-grained information. In this work, we propose BrainRVQ, a general-purpose EEG foundation model pre-trained on a large-scale corpus of clinical EEG data. Unlike standard masked modeling, BrainRVQ features a Dual-Domain Residual Vector Quantization (DD-RVQ) tokenizer that disentangles temporal waveforms and spectral patterns into hierarchical discrete codes. We further introduce a hierarchical autoregressive pre-training objective that learns to reconstruct these codes in a coarse-to-fine manner, utilizing an importance-guided curriculum masking strategy to prioritize information-rich neural events over background noise. Extensive experiments across 8 diverse downstream datasets demonstrate that BrainRVQ consistently outperforms state-of-the-art baselines, validating its effectiveness in learning robust and generalizable neural representations. Our code and model weights are available:https://github.com/keqicmz/BrainRVQ

研究动机与目标

• 由于 EEG 信号的低信噪比和非平稳性，激发对高保真 EEG 基础模型的需求。
• 提出 DD-RVQ，联合编码时域和频域信息以获得更丰富的表征。
• 引入带教师强制的分层自回归预训练和一个重要性引导的课程掩码。
• 在大型临床 EEG 语料上进行预训练，并在多种下游任务上验证泛化能力。
• 展示在多项基线 EEG 任务上优于最先进方法的性能。

提出的方法

• Dual-Domain Residual Vector Quantization (DD-RVQ) tokenization，能够在时域和频域生成分层编码。
• 共享编码器，具备 temporal 和 frequency RVQ 分支，以及用于波形和频谱重建的域特定解码器。
• Hierarchical Autoregressive Pre-training，使用教师强制来建模粗粒度到细粒度的依赖关系。
• Importance-Guided Curriculum Masking，通过生理学感知评分和课程调度来优先关注信息丰富的神经事件。
• 在 Temple University Hospital EEG Corpus (TUEG) 上进行预训练，采用 12 层 Transformer 编码器和 RVQ 码本；下游适配器通过在八个 EEG 数据集上微调实现。

实验结果

研究问题

• RQ1 双域（时域和频域）tokenization 是否能提高 EEG 表征保真度，相对于单域方法？
• RQ2 分层残差量化结合自回归学习是否在下游表现上优于平坦或单层 tokenization？
• RQ3 重要性引导的课程掩码策略是否能提升学习效率并实现对多样 EEG 任务的迁移？
• RQ4 BrainRVQ 在癫痫检测、情绪识别、睡眠分期和运动想象等任务上的泛化能力如何？

主要发现

Method	Mental Workload Bal.Acc	Mental Workload AUC-PR	Mental Workload AUROC	CHB-MIT Bal.Acc	CHB-MIT AUC-PR	CHB-MIT AUROC	TUEV Bal.Acc	TUEV Kappa	TUEV W-F1	BCICIV-2a Bal.Acc	BCICIV-2a Kappa	BCICIV-2a W-F1
EEGNet	0.677 ± 0.012	0.576 ± 0.010	0.732 ± 0.011	0.566 ± 0.011	0.191 ± 0.018	0.805 ± 0.014	0.388 ± 0.014	0.358 ± 0.016	0.654 ± 0.012	0.448 ± 0.009	0.269 ± 0.012	0.423 ± 0.011
ST-Transformer	0.663 ± 0.017	0.567 ± 0.026	0.713 ± 0.017	0.592 ± 0.020	0.142 ± 0.009	0.824 ± 0.049	0.398 ± 0.023	0.377 ± 0.031	0.682 ± 0.019	0.458 ± 0.015	0.273 ± 0.020	0.447 ± 0.014
BENDR	0.568 ± 0.045	0.366 ± 0.067	0.568 ± 0.045	0.561 ± 0.043	0.307 ± 0.124	0.863 ± 0.053	0.436 ± 0.025	0.427 ± 0.024	0.676 ± 0.022	0.490 ± 0.007	0.320 ± 0.009	0.484 ± 0.007
BIOT	0.688 ± 0.019	0.600 ± 0.020	0.754 ± 0.014	0.707 ± 0.046	0.328 ± 0.046	0.876 ± 0.028	0.528 ± 0.023	0.527 ± 0.025	0.749 ± 0.008	0.475 ± 0.009	0.300 ± 0.014	0.461 ± 0.013
LaBraM	0.691 ± 0.013	0.600 ± 0.016	0.772 ± 0.009	0.708 ± 0.036	0.329 ± 0.040	0.868 ± 0.020	0.641 ± 0.007	0.664 ± 0.009	0.831 ± 0.005	0.487 ± 0.009	0.316 ± 0.015	0.476 ± 0.010
CBraMod	0.726 ± 0.013	0.627 ± 0.010	0.791 ± 0.007	0.740 ± 0.028	0.369 ± 0.038	0.889 ± 0.015	0.667 ± 0.011	0.677 ± 0.010	0.834 ± 0.006	0.514 ± 0.007	0.352 ± 0.009	0.498 ± 0.009
BrainRVQ (Ours)	0.747 ± 0.011	0.758 ± 0.012	0.862 ± 0.010	0.709 ± 0.040	0.465 ± 0.036	0.928 ± 0.024	0.668 ± 0.015	0.690 ± 0.008	0.840 ± 0.005	0.541 ± 0.008	0.388 ± 0.008	0.533 ± 0.012

• BrainRVQ 在八个下游 EEG 数据集上稳定超越最先进基线。
• 在代表性任务中，BrainRVQ 在多项指标上达到最高分，包括 AUROC、AUC-PR 和平衡精度。
• 消融实验表明双域 tokenization、分层自回归和重要性引导掩码均对性能提升贡献显著。
• 该模型在癫痫检测、认知负荷评估和运动想象分类等任务上表现出色。
• 分层残差量化提供了更高的表征粒度，尤其对细粒度运动想象信号表现优越。