[论文解读] Fusion of Spatio-Temporal and Multi-Scale Frequency Features for Dry Electrodes MI-EEG Decoding

Tianyi Gong, Can Han+2 more|arXiv (Cornell University)|Jan 26, 2026

EEG and Brain-Computer Interfaces被引用 0

一句话总结

STGMFM 引入一个三分支架构，将双有序时空图与多尺度频率包络混合器结合，用于干式电极MI-EEG解码，在跨会话/跨被试上达到最新性能。

ABSTRACT

Dry-electrode Motor Imagery Electroencephalography (MI-EEG) enables fast, comfortable, real-world Brain Computer Interface by eliminating gels and shortening setup for at-home and wearable use.However, dry recordings pose three main issues: lower Signal-to-Noise Ratio with more baseline drift and sudden transients; weaker and noisier data with poor phase alignment across trials; and bigger variances between sessions. These drawbacks lead to larger data distribution shift, making features less stable for MI-EEG tasks.To address these problems, we introduce STGMFM, a tri-branch framework tailored for dry-electrode MI-EEG, which models complementary spatio-temporal dependencies via dual graph orders, and captures robust envelope dynamics with a multi-scale frequency mixing branch, motivated by the observation that amplitude envelopes are less sensitive to contact variability than instantaneous waveforms. Physiologically meaningful connectivity priors guide learning, and decision-level fusion consolidates a noise-tolerant consensus. On our collected dry-electrode MI-EEG, STGMFM consistently surpasses competitive CNN/Transformer/graph baselines. Codes are available at https://github.com/Tianyi-325/STGMFM.

研究动机与目标

• 以干式电极实现稳健的MI-EEG解码为动机，解决低信噪比、基线漂移以及跨被试/跨会话的变异性问题。
• 提出一个三分支网络，将时空图推理与包络基频特征相结合。
• 利用生理上有意义的先验（PLV）与简洁的决策层融合实现稳健的泛化。
• 在干式电极MI-EEG数据集上展示相较CNN/Transformer/GCN基线的优越性。
• 通过消融研究对各组成部分的贡献进行洞察。

提出的方法

• 构建一个以PLV初始化的通道图（A），将功能连接性编码为先验。
• 实现两个双序spatio-temporal分支：CCG → TSG 与 TSG → CCG，以获得互补的证据。
• 添加在幅度包络上工作的多尺度频率混合器（C），以在多个尺度上捕捉ERD/ERS样的动态。
• 在决策层对分支_logits进行线性头部的融合（无门控），形成鲁棒的最终预测。
• 使用带有图模块的交叉熵损失加上L1/L2正则化和余弦退火学习率进行训练。
• 使用分窗滑动片段创建每个窗口的输入并稳定跨试验比较。

实验结果

研究问题

• RQ1 PLV信息化、可学习的邻接矩阵是否能提升跨会话/跨被试的干式电极MI-EEG解码？
• RQ2 双序Spatio-temporal图是否对干式电极噪声路径提供互补的鲁棒性？
• RQ3 是否通过捕捉包络动态的Multi-Scale Frequency Mixer能够提升对接触变异性的鲁棒性？
• RQ4 在小型EEG数据集上，决策层融合是否足以充分利用多分支表示而不产生过拟合？

主要发现

• STGMFM在23通道干式EEG MI-EEG数据集的三种评估协议上均优于CNN/Transformer/GCN基线。
• 消融表明完整模型（双图序+MFM+带正则化的PLV初始化）在跨被试性能上表现最佳（ACC 57.26%，kappa 0.3592，F1 56.52%）。
• 双图序提供互补的归纳偏置，降低干式EEG中的噪声传播。
• 多尺度频率混合器在干式电极条件下有效恢复了ERD/ERS样的包络模式。
• 正则化与余弦退火训练有助于防止过拟合并促进跨被试/跨会话的泛化。