[论文解读] A Systematic Evaluation of Sample-Level Tokenization Strategies for MEG Foundation Models

SungJun Cho, Chetan Gohil+3 more|arXiv (Cornell University)|Feb 18, 2026

Functional Brain Connectivity Studies被引用 0

一句话总结

本文系统性比较了 MEG 基础模型中可学习与不可学习的样本级标记化策略，在大多数标准下简单的固定标记化可以与可学习方法相媲美，唯有在主体指纹识别方面可学习标记能提供帮助。

ABSTRACT

Recent success in natural language processing has motivated growing interest in large-scale foundation models for neuroimaging data. Such models often require discretization of continuous neural time series data, a process referred to as 'tokenization'. However, the impact of different tokenization strategies for neural data is currently poorly understood. In this work, we present a systematic evaluation of sample-level tokenization strategies for transformer-based large neuroimaging models (LNMs) applied to magnetoencephalography (MEG) data. We compare learnable and non-learnable tokenizers by examining their signal reconstruction fidelity and their impact on subsequent foundation modeling performance (token prediction, biological plausibility of generated data, preservation of subject-specific information, and performance on downstream tasks). For the learnable tokenizer, we introduce a novel approach based on an autoencoder. Experiments were conducted on three publicly available MEG datasets spanning different acquisition sites, scanners, and experimental paradigms. Our results show that both learnable and non-learnable discretization schemes achieve high reconstruction accuracy and broadly comparable performance across most evaluation criteria, suggesting that simple fixed sample-level tokenization strategies can be used in the development of neural foundation models. The code is available at https://github.com/OHBA-analysis/Cho2026_Tokenizer.

研究动机与目标

• 为 MEG 数据的基础模型样式学习提供动机，并理解标记化如何塑造表示与下游任务。
• 系统性比较 MEG 数据上可学习与非可学习的样本级标记器在重建、建模和解码任务中的表现。
• 评估简单的固定离散化是否足以实现有效的神经时序基础建模。

提出的方法

• 提出一种面向 MEG 信号的可学习样本级标记器，实现为类似自编码器的（VQ-VAE 风格）框架，含一个编码器（GRU）和一个使用一维内核的解码器。
• 在退火的软到硬标记分配下训练标记器变体以在优化过程中实现梯度传递。
• 与两种固定、不可学习的基线进行比较：μ-transform 与标准分位标记化。
• 用带有下一个标记预测任务的 GPT 风格 MEG 基础模型（MEG-GPT）对标记化的 MEG 数据进行预训练，并在多项标准上进行评估。
• 评估标记化对重建保真度、标记预测准确性、生成数据的生物学合理性、主体特异信息保留，以及下游解码的影响。

Figure 1: Overview of the foundation modeling framework and tokenizer architecture. (a) Schematic of the full generative training pipeline for the MEG-GPT foundation model. (b) Architecture of the learnable MEG tokenizer.

实验结果

研究问题

• RQ1 在 MEG 基础模型管线中，可学习的样本级标记器是否相对于固定标记化带来显著收益？
• RQ2 标记化选择如何影响重建质量以及零样本和微调解码等下游任务？
• RQ3 简单的固定离散化是否足以在多样数据集和任务中实现稳健的 MEG 基础建模？
• RQ4 相比固定方案，可学习标记器是否改善主体指纹识别或跨主体可辨识度？

主要发现

• 两种可学习与不可学习的离散化方案在重建准确性上均表现出高水平，并在大多数标准上总体表现相近。
• 与固定标记器相比，可学习标记器在主体指纹识别方面带来一致的改进。
• 在大多数设置中，固定的样本级标记策略在标记预测、生物学合理性以及下游解码方面的表现与可学习方案相当。
• 在三个具有不同采集站点和范式的 MEG 数据集上，标记化选择并未显著改变总体基础模型的性能。
• 该研究提供了对 MEG 基础模型样本级标记器的首次系统、受控对比，且提供可用于复现的代码。

Figure 2: MEG-GPT foundation model architecture. (a) High-level overview of the model architecture. (b) Detailed structure of the transformer decoder component.