[論文レビュー] A Unified SPD Token Transformer Framework for EEG Classification: Systematic Comparison of Geometric Embeddings

Chi-Sheng Chen, En-Jui Kuo+3 more|arXiv (Cornell University)|Jan 29, 2026

EEG and Brain-Computer Interfaces被引用数 0

ひとこと要約

要約: 本論文は、BWSPD、Log-Euclidean、Euclidean 表現を比較する統一 SPD Token Transformer フレームワークを提案し、勾配条件づけと正規化に関する理論的予測を検証し、運動想起、ERP、SSVEP データセットにおけるマルチバンドトークン化で最先端の結果を達成します。

ABSTRACT

Spatial covariance matrices of EEG signals are Symmetric Positive Definite (SPD) and lie on a Riemannian manifold, yet the theoretical connection between embedding geometry and optimization dynamics remains unexplored. We provide a formal analysis linking embedding choice to gradient conditioning and numerical stability for SPD manifolds, establishing three theoretical results: (1) BWSPD's $\sqrtκ$ gradient conditioning (vs $κ$ for Log-Euclidean) via Daleckii-Kre\uın matrices provides better gradient conditioning on high-dimensional inputs ($d \geq 22$), with this advantage reducing on low-dimensional inputs ($d \leq 8$) where eigendecomposition overhead dominates; (2) Embedding-Space Batch Normalization (BN-Embed) approximates Riemannian normalization up to $O(\varepsilon^2)$ error, yielding $+26\%$ accuracy on 56-channel ERP data but negligible effect on 8-channel SSVEP data, matching the channel-count-dependent prediction; (3) bi-Lipschitz bounds prove BWSPD tokens preserve manifold distances with distortion governed solely by the condition ratio $κ$. We validate these predictions via a unified Transformer framework comparing BWSPD, Log-Euclidean, and Euclidean embeddings within identical architecture across 1,500+ runs on three EEG paradigms (motor imagery, ERP, SSVEP; 36 subjects). Our Log-Euclidean Transformer achieves state-of-the-art performance on all datasets, substantially outperforming classical Riemannian classifiers and recent SPD baselines, while BWSPD offers competitive accuracy with similar training time.

研究の動機と目的

• 埋め込み幾何が SPD 多様体上での EEG 分類器の最適化と性能にどう影響するかを動機づけ、分析する。
• 同一アーキテクチャ内で BWSPD、Log-Euclidean、Euclidean 埋め込みを比較する統制された Transformer フレームワークを開発する。
• 埋め込み選択を SPD 多様体上の勾配条件づけ、正規化、距離保持と theoretically connect する。
• 複数の EEG パラダイムにわたる extensive training runs と被験者で予測を実証的に検証する。
• マルチバンド tokenization の state-of-the-art 性能と実用的利点を示す。

提案手法

• SPD 共分散行列上で動作する統一 SPD Token Transformer を定式化する。
• 3つの埋め込みトークン: BWSPD、Log-Euclidean、Euclidean を実装し、埋め込み間で projection、Transformer エンコーダ、分類器を共有する。
• Embedding-Space Batch Normalization (BN-Embed) を適用して学習を安定化し、リーマン正規化を近似する。
• 同一超パラメータを持つ Transformer バックボーンを用いて公正な埋め込み比較を保証する。
• 各埋め込みごとに上三角成分を抽出してトークンベクトルを形成し、サイズを D_token = d(d+1)/2 とする。
• マルチバンド tokenization (T=3) を探索し、帯域間の周波数情報をモデル化し分散低減を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる SPD 埋め込み（BWSPD、Log-Euclidean、Euclidean）は EEG 分類における勾配条件づけと最適化ダイナミクスにどう影響するか？
• RQ2 BN-Embed は高次元埋め込み空間でリーマン正規化を効果的に近似できるか？
• RQ3 BWSPD、Log-Euclidean、Euclidean 埋め込みはトークン空間で SPD 多様体距離を予測可能な歪みで保持するか？
• RQ4 マルチバンド tokenization はデータセット間の精度と分散にどのような影響を与えるか？
• RQ5 埋め込みの選択がデータセットやチャンネル数に依存して性能に及ぼす影響は何か？

主な発見

Dataset	Subj.	Log-Euc	BWSPD	Euclidean	SPDTransNet	mAtt	TS+LR	FGMDM	MDM	Notes?
BCI2a	9	95.37 ± 10.69	63.97 ± 17.63	54.15 ± 15.94	38.14 ± 12.81	74.68 ± 14.33	64.85 ± 15.18	64.58 ± 13.37	60.49 ± 11.77	Best: Log-Euc across methods
BCIcha	16	95.21 ± 10.19	90.74 ± 11.48	85.98 ± 11.20	81.57 ± 14.89	71.51 ± 9.66	66.95 ± 14.83	67.55 ± 15.79	62.14 ± 18.28	Best: Log-Euc across methods
MAMEM	11	99.07 ± 1.48	81.70 ± 15.54	50.48 ± 14.00	94.42 ± 10.78	65.78 ± 24.84	28.61 ± 7.69	28.73 ± 7.34	25.21 ± 7.88	Best: Log-Euc across methods

• Log-Euclidean 埋め込みは三つのデータセット全てで最先端精度を達成（BCI2a: 95.37%、BCIcha: 95.21%、MAMEM: 99.07%）。
• BWSPD は高次元設定で勾配条件づけが良好なため、同等の学習時間で競争力のある精度を示す。
• BN-Embed は高チャンネルデータで大きな精度向上をもたらす（BCIcha +26%、BCI2a +23%）、低チャンネルデータにはほとんど影響なし（MAMEM）。
• マルチバンド tokenization (T=3) はデータセット全体で著しい精度向上をもたらし（BCI2a +3.96pp、BCIcha +4.24pp、MAMEM +0.90pp）、分散を大幅に低減。
• Log-Euclidean は多クラス/周波数局在シナリオでしばしば卓越する一方、 BWSPD は高次元入力での最適化条件づけを促進し、理論予測と整合する。
• 本フレームワークは公正で統制された比較を可能にし、SPD に基づく EEG分類のための Transformer の系列モデリング能力を示す。