[论文解读] A Unified SPD Token Transformer Framework for EEG Classification: Systematic Comparison of Geometric Embeddings

Chi-Sheng Chen, En-Jui Kuo+3 more|arXiv (Cornell University)|Jan 29, 2026

EEG and Brain-Computer Interfaces被引用 0

一句话总结

本文提出一个统一的 SPD Token Transformer 框架，比较 BWSPD、Log-Euclidean 和 Euclidean 嵌入在 EEG 协方差矩阵上的效果，验证关于梯度条件化与归一化的理论预测，并在 motor imagery、ERP 与 SSVEP 数据集上通过多带令牌化获得最先进的结果。

ABSTRACT

Spatial covariance matrices of EEG signals are Symmetric Positive Definite (SPD) and lie on a Riemannian manifold, yet the theoretical connection between embedding geometry and optimization dynamics remains unexplored. We provide a formal analysis linking embedding choice to gradient conditioning and numerical stability for SPD manifolds, establishing three theoretical results: (1) BWSPD's $\sqrtκ$ gradient conditioning (vs $κ$ for Log-Euclidean) via Daleckii-Kre\uın matrices provides better gradient conditioning on high-dimensional inputs ($d \geq 22$), with this advantage reducing on low-dimensional inputs ($d \leq 8$) where eigendecomposition overhead dominates; (2) Embedding-Space Batch Normalization (BN-Embed) approximates Riemannian normalization up to $O(\varepsilon^2)$ error, yielding $+26\%$ accuracy on 56-channel ERP data but negligible effect on 8-channel SSVEP data, matching the channel-count-dependent prediction; (3) bi-Lipschitz bounds prove BWSPD tokens preserve manifold distances with distortion governed solely by the condition ratio $κ$. We validate these predictions via a unified Transformer framework comparing BWSPD, Log-Euclidean, and Euclidean embeddings within identical architecture across 1,500+ runs on three EEG paradigms (motor imagery, ERP, SSVEP; 36 subjects). Our Log-Euclidean Transformer achieves state-of-the-art performance on all datasets, substantially outperforming classical Riemannian classifiers and recent SPD baselines, while BWSPD offers competitive accuracy with similar training time.

研究动机与目标

• 激励并分析嵌入几何在 SPD 流形上对 EEG 分类器优化与性能的影响。
• 在相同架构下开发一个可控的 Transformer 框架，以比较 BWSPD、Log-Euclidean 与 Euclidean 嵌入。
• 从理论上将嵌入选择与 SPD 流形上的梯度条件化、归一化以及距离保持联系起来。
• 通过多种 EEG 任务、大量训练次数和被试进行经验验证。
• 展示多带令牌化的最先进性能及实际收益。

提出的方法

• 提出一个在 SPD 协方差矩阵上运行的统一 SPD Token Transformer。
• 实现三种嵌入令牌：BWSPD、Log-Euclidean、Euclidean；在嵌入之间共享投影、Transformer 编码器和分类器。
• 应用 Embedding-Space Batch Normalization (BN-Embed) 以稳定训练并近似 Réemannian 归一化。
• 使用具有相同超参数的 Transformer 主干，以确保嵌入比较的公平性。
• 提取上三角条目形成令牌向量，每种嵌入的令牌维度为 D_token = d(d+1)/2。
• 探索多带令牌化（T=3），对各频带建模并评估方差降低。

实验结果

研究问题

• RQ1 不同的 SPD 嵌入（BWSPD、Log-Euclidean、Euclidean）如何影响 EEG 分类中的梯度条件化与优化动力学？
• RQ2 BN-Embed 能否在高维嵌入空间中有效近似 Réemannian 归一化？
• RQ3 在令牌空间中，BWSPD、Log-Euclidean 与 Euclidean 嵌入是否在保留 SPD 流形距离方面具有可预测的变形？
• RQ4 多带令牌化对准确率和方差在不同 EEG 数据集上的影响如何？
• RQ5 嵌入选择对性能的数据集与通道数相关效应是什么？

主要发现

Dataset	Subj.	Log-Euc	BWSPD	Euclidean	SPDTransNet	mAtt	TS+LR	FGMDM	MDM	Notes?
BCI2a	9	95.37 ± 10.69	63.97 ± 17.63	54.15 ± 15.94	38.14 ± 12.81	74.68 ± 14.33	64.85 ± 15.18	64.58 ± 13.37	60.49 ± 11.77	Best: Log-Euc across methods
BCIcha	16	95.21 ± 10.19	90.74 ± 11.48	85.98 ± 11.20	81.57 ± 14.89	71.51 ± 9.66	66.95 ± 14.83	67.55 ± 15.79	62.14 ± 18.28	Best: Log-Euc across methods
MAMEM	11	99.07 ± 1.48	81.70 ± 15.54	50.48 ± 14.00	94.42 ± 10.78	65.78 ± 24.84	28.61 ± 7.69	28.73 ± 7.34	25.21 ± 7.88	Best: Log-Euc across methods

• Log-Euclidean 嵌入在三个数据集上达到最先进的准确率（BCI2a: 95.37%, BCIcha: 95.21%, MAMEM: 99.07%）。
• BWSPD 在高维设置中因更好的梯度条件化而显示出具有竞争力的准确率和相似的训练时间。
• BN-Embed 在高通道数据上带来显著的准确率提升（BCIcha +26%, BCI2a +23%），对低通道数据（MAMEM）影响甚微。
• 多带令牌化（T=3）在各数据集上带来显著的准确率提升（BCI2a +3.96pp, BCIcha +4.24pp, MAMEM +0.90pp），方差大幅降低。
• Log-Euclidean 在多类/频率局部化场景中常表现优越，而 BWSPD 在高维输入下有利于优化条件化，与理论预测一致。
• 该框架实现了公平、受控的比较，并展示 Transformer 对基于 SPD 的 EEG 分类的序列建模能力。