[논문 리뷰] A Unified SPD Token Transformer Framework for EEG Classification: Systematic Comparison of Geometric Embeddings

Chi-Sheng Chen, En-Jui Kuo외 3명|arXiv (Cornell University)|2026. 01. 29.

EEG and Brain-Computer Interfaces인용 수 0

한 줄 요약

본 논문은 EEG 공분산 행렬에 대해 BWSPD, Log-Euclidean, Euclidean 임베딩을 비교하는 통합 SPD 토큰 트랜스포머 프레임워크를 제시하고, 그래디언트 조건화 및 정규화에 관한 이론적 예측을 검증하며, 모터 이미지, ERP, SSVEP 데이터셋에서 다대역 토큰화로 최첨단 성능을 달성한다.

ABSTRACT

Spatial covariance matrices of EEG signals are Symmetric Positive Definite (SPD) and lie on a Riemannian manifold, yet the theoretical connection between embedding geometry and optimization dynamics remains unexplored. We provide a formal analysis linking embedding choice to gradient conditioning and numerical stability for SPD manifolds, establishing three theoretical results: (1) BWSPD's $\sqrtκ$ gradient conditioning (vs $κ$ for Log-Euclidean) via Daleckii-Kre\uın matrices provides better gradient conditioning on high-dimensional inputs ($d \geq 22$), with this advantage reducing on low-dimensional inputs ($d \leq 8$) where eigendecomposition overhead dominates; (2) Embedding-Space Batch Normalization (BN-Embed) approximates Riemannian normalization up to $O(\varepsilon^2)$ error, yielding $+26\%$ accuracy on 56-channel ERP data but negligible effect on 8-channel SSVEP data, matching the channel-count-dependent prediction; (3) bi-Lipschitz bounds prove BWSPD tokens preserve manifold distances with distortion governed solely by the condition ratio $κ$. We validate these predictions via a unified Transformer framework comparing BWSPD, Log-Euclidean, and Euclidean embeddings within identical architecture across 1,500+ runs on three EEG paradigms (motor imagery, ERP, SSVEP; 36 subjects). Our Log-Euclidean Transformer achieves state-of-the-art performance on all datasets, substantially outperforming classical Riemannian classifiers and recent SPD baselines, while BWSPD offers competitive accuracy with similar training time.

연구 동기 및 목표

• SPD다양체에서 임베딩 기하가 EEG 분류기 최적화와 성능에 미치는 영향을 동기 부여하고 분석한다.
• 동일 아키텍처 내에서 BWSPD, Log-Euclidean, Euclidean 임베딩을 비교하기 위한 제어된 Transformer 프레임워크를 개발한다.
• 임베딩 선택과 SPD 다면체에서의 그래디언트 조건화, 정규화, 거리 보존 간의 이론적 연결을 제시한다.
• 다양한 EEG 패러다임에 걸쳐 광범위한 학습 실행과 피험자를 대상으로 예측을 실증적으로 검증한다.
• 다대역 토큰화의 최첨단 성능과 실용적 이점을 보여준다.

제안 방법

• SPD 공분산 행렬에서 작동하는 통합 SPD 토큰 트랜스포머를 공식화한다.
• 세 가지 임베딩 토큰(BWSPD, Log-Euclidean, Euclidean)을 구현하고, 임베딩 간 투사(projection), Transformer 인코더, 분류기를 공유한다.
• Embedding-Space 배치 정규화(BN-Embed)를 적용하여 학습을 안정화하고 리만 정규화를 근사한다.
• 동일한 하이퍼파라미터를 가진 Transformer 백본을 사용하여 임베딩 비교의 공정성을 보장한다.
• 상삼각 항목을 추출하여 각 임베딩의 토큰 벡터를 크기 D_token = d(d+1)/2로 형성한다.
• 다대역 토큰화(T=3)를 탐색하여 대역 간 주파수 정보를 모델링하고 분산 감소를 평가한다.

실험 결과

연구 질문

• RQ1 다른 SPD 임베딩(BWSPD, Log-Euclidean, Euclidean)이 EEG 분류에서 그래디언트 조건화와 최적화 역학에 어떻게 영향을 미치는가?
• RQ2 높은 차원의 임베딩 공간에서 BN-Embed가 리만 정규화를 효과적으로 근사할 수 있는가?
• RQ3 BWSPD, Log-Euclidean, Euclidean 임베딩이 토큰 공간에서 SPD 다면체 거리 보존과 예측 가능한 왜곡을 보이는가?
• RQ4 다대역 토큰화가 EEG 데이터세트 전체의 정확도와 분산에 미치는 영향은 무엇인가?
• RQ5 임베딩 선택의 성능에 대한 데이터세트 및 채널 수 의존적 효과는 무엇인가?

주요 결과

Dataset	Subj.	Log-Euc	BWSPD	Euclidean	SPDTransNet	mAtt	TS+LR	FGMDM	MDM	Notes?
BCI2a	9	95.37 ± 10.69	63.97 ± 17.63	54.15 ± 15.94	38.14 ± 12.81	74.68 ± 14.33	64.85 ± 15.18	64.58 ± 13.37	60.49 ± 11.77	Best: Log-Euc across methods
BCIcha	16	95.21 ± 10.19	90.74 ± 11.48	85.98 ± 11.20	81.57 ± 14.89	71.51 ± 9.66	66.95 ± 14.83	67.55 ± 15.79	62.14 ± 18.28	Best: Log-Euc across methods
MAMEM	11	99.07 ± 1.48	81.70 ± 15.54	50.48 ± 14.00	94.42 ± 10.78	65.78 ± 24.84	28.61 ± 7.69	28.73 ± 7.34	25.21 ± 7.88	Best: Log-Euc across methods

• Log-Euclidean 임베딩은 세 데이터셋(BCI2a: 95.37%, BCIcha: 95.21%, MAMEM: 99.07%)에서 최첨단 정확도를 달성한다.
• BWSPD는 비슷한 학습 시간으로 경쟁력 있는 정확도를 보여주며, 특히 고차원 설정에서 더 나은 그래디언트 조건화로 인해 우수하다.
• BN-Embed는 고채널 데이터에서 상당한 정확도 향상(BCIcha +26%, BCI2a +23%)을 제공하고, 저채널 데이터(MAMEM)에는 영향이 미미하다.
• 다대역 토큰화(T=3)는 데이터셋 전반에서 상당한 정확도 향상을 가져오며(BCI2a +3.96pp, BCIcha +4.24pp, MAMEM +0.90pp), 분산이 크게 감소한다.
• Log-Euclidean은 다중 클래스/주파수 로컬화 시나리오에서 자주 우수하며, BWSPD는 고차원 입력에서 최적화 조건화에 이점을 보이고 이론적 예측과 일치한다.
• 이 프레임워크는 공정하고 제어된 비교를 가능하게 하며 SPD 기반 EEG 분류를 위한 Transformer의 시퀀스 모델링 능력을 보여준다.