[論文レビュー] A Systematic Evaluation of Sample-Level Tokenization Strategies for MEG Foundation Models

SungJun Cho, Chetan Gohil+3 more|arXiv (Cornell University)|Feb 18, 2026

Functional Brain Connectivity Studies被引用数 0

ひとこと要約

この論文は MEG ファンデーションモデルの学習可能なサンプルレベルトークン化戦略と非学習可能な戦略を体系的に比較し、単純な固定トークン化がほとんどの指標で学習可能手法と同等の性能を示す一方、被験者指紋認識では学習可能トークンが有利であることを示す。

ABSTRACT

Recent success in natural language processing has motivated growing interest in large-scale foundation models for neuroimaging data. Such models often require discretization of continuous neural time series data, a process referred to as 'tokenization'. However, the impact of different tokenization strategies for neural data is currently poorly understood. In this work, we present a systematic evaluation of sample-level tokenization strategies for transformer-based large neuroimaging models (LNMs) applied to magnetoencephalography (MEG) data. We compare learnable and non-learnable tokenizers by examining their signal reconstruction fidelity and their impact on subsequent foundation modeling performance (token prediction, biological plausibility of generated data, preservation of subject-specific information, and performance on downstream tasks). For the learnable tokenizer, we introduce a novel approach based on an autoencoder. Experiments were conducted on three publicly available MEG datasets spanning different acquisition sites, scanners, and experimental paradigms. Our results show that both learnable and non-learnable discretization schemes achieve high reconstruction accuracy and broadly comparable performance across most evaluation criteria, suggesting that simple fixed sample-level tokenization strategies can be used in the development of neural foundation models. The code is available at https://github.com/OHBA-analysis/Cho2026_Tokenizer.

研究の動機と目的

• MEG データのファンデーションモデル風の学習を動機づけ、トークン化が表現と下流タスクにどのような影響を与えるかを理解する。
• MEG データ上で学習可能・非学習可能なサンプルレベルトークナイザーを、再構成・モデリング・デコードタスクを横断して体系的に比較する。
• 単純な固定離散化が、効果的なニューロン時系列ファンデーションモデリングに十分かどうかを評価する。

提案手法

• MEG 信号に特化した学習可能なサンプルレベルトークナイザーを提案し、エンコーダ（GRU）とデコーダを用いる1Dトークンカーネルのオートエンコーダ様フレームワークとして実装する（VQ-VAE風）。
• 最適化中の勾配流を可能にするため、ソフトからハードへのトークン割り当てを加温する学習を適用してトークナイザーの変種を訓練する。
• 学習可能でない固定のベースライン2つと比較する： μ-transform と標準分位トークン化器。
• 次トークン予測を用いたトークン化済み MEG データで GPT 風 MEG ファンデーションモデル（MEG-GPT）を事前訓練し、複数の基準で評価する。
• トークン化が再構成忠実度、トークン予測精度、生成データの生物学的妥当性、被験者特異情報の保持、および下流デコードに与える影響を評価する。

Figure 1: Overview of the foundation modeling framework and tokenizer architecture. (a) Schematic of the full generative training pipeline for the MEG-GPT foundation model. (b) Architecture of the learnable MEG tokenizer.

実験結果

リサーチクエスチョン

• RQ1 学習可能なサンプルレベルトークナイザーは、固定トークナイゼーションと比較して MEG ファンデーションモデルのパイプラインで有意義な利得をもたらすか。
• RQ2 トークナイゼーションの選択は再構成品質やゼロショット・微調整デコードなどの下流タスクにどのように影響するか。
• RQ3 単純な固定離散化は、多様なデータセットとタスクに対して堅牢な MEG ファンデーションモデリングに十分か。
• RQ4 学習可能なトークナイザーは固定スキームと比較して被験者指紋認識や被験者間識別性を改善するか。

主な発見

• 学習可能・非学習可能な離散化スキームは高い再構成精度を達成し、ほとんどの指標で広く同等の性能を示す。
• 学習可能なトークナイザーは固定トークナイザーと比較して被験者指紋認識の一貫した改善をもたらす。
• 固定のサンプルレベルトークン化戦略は、トークン予測、生物学的妥当性、下流デコードの多くの設定で学習可能なものと同等の性能を示す。
• 3つの MEG データセット（取得サイトと課題が異なる）でトークナイゼーションの選択が全体的なファンデーションモデルの性能を大きく変えなかった。
• 本研究は MEG ファンデーションモデルのサンプルレベルトークナイザーを初めて体系的・統制的に比較し、再現コードを提供する。

Figure 2: MEG-GPT foundation model architecture. (a) High-level overview of the model architecture. (b) Detailed structure of the transformer decoder component.