[论文解读] MAtt: A Manifold Attention Network for EEG Decoding

Yueting Pan, Jing-Lun Chou+1 more|arXiv (Cornell University)|Oct 5, 2022

EEG and Brain-Computer Interfaces被引用 25

一句话总结

MAtt 是一个几何深度学习模型，将 EEG 特征映射到 SPD 流形，并使用流形注意力机制在时序同步和非同步 EEG 任务上提高解码。

ABSTRACT

Recognition of electroencephalographic (EEG) signals highly affect the efficiency of non-invasive brain-computer interfaces (BCIs). While recent advances of deep-learning (DL)-based EEG decoders offer improved performances, the development of geometric learning (GL) has attracted much attention for offering exceptional robustness in decoding noisy EEG data. However, there is a lack of studies on the merged use of deep neural networks (DNNs) and geometric learning for EEG decoding. We herein propose a manifold attention network (mAtt), a novel geometric deep learning (GDL)-based model, featuring a manifold attention mechanism that characterizes spatiotemporal representations of EEG data fully on a Riemannian symmetric positive definite (SPD) manifold. The evaluation of the proposed MAtt on both time-synchronous and -asyncronous EEG datasets suggests its superiority over other leading DL methods for general EEG decoding. Furthermore, analysis of model interpretation reveals the capability of MAtt in capturing informative EEG features and handling the non-stationarity of brain dynamics.

研究动机与目标

• 在非平稳性和噪声条件下使用几何深度学习推动鲁棒 EEG 解码。
• 提出一个轻量级框架，将 EEG 特征的欧几里得与黎曼表示整合。
• 开发在 SPD 矩阵上运行的流形注意力机制，以捕捉时空模式。
• 在时序同步与时序异步的 EEG 数据集上验证泛化能力。

提出的方法

• 通过两层卷积提取用于空间与时空表示的 EEG 特征。
• 将欧几里得嵌入转换为 SPD 矩阵，使用 Log-Euclidean 度量进行黎曼处理。
• 实现一个流形注意力模块，使用双线性映射产生 SPD 查询、键和值。
• 通过 Log-Euclidean 距离计算 SPD 查询/键之间的相似性，并在 SPD 流形上应用基于 Softmax 的注意力。
• 通过 Log-Euclidean 均值融合被关注的 SPD 值，并使用 ReEig 与 Log 层映射回欧几里得空间进行分类。
• 使用交叉熵损失和 Stiefel-流形梯度更新来训练，以使变换矩阵保持在 Stiefel 流形上。

实验结果

研究问题

• RQ1 与领先的 DL 方法相比，所提出的 MAtt 框架是否能在 MI（时间非同步）、SSVEP（时间同步）和 ERN 数据集中提升 EEG 解码精度？
• RQ2 通过流形注意力机制整合欧几里得与黎曼表示是否对 EEG 信号具有更好的泛化性与可解释性？
• RQ3 模型如何处理跨被试与会话的非平稳性与变异性？
• RQ4 流形注意力模块相对于特征提取器对整体性能的贡献是什么？

主要发现

• MAtt 在 MI、SSVEP 和 ERN 数据集的基线 DL 方法中的表现优于对比方法。
• FE+MA（提议的方法）在三项任务中都取得最佳准确率，优于仅 FE 与 FE+Self-Attention 替代方案。
• 在 MI、SSVEP 及 ERN 中，MAtt 展现出稳健的泛化与通过梯度定位的可解释特征捕捉。
• 消融研究显示将特征提取与流形注意力模块相结合可获得最强性能。
• 模型解释显示的空间模式与运动皮层活动及 EEG 信号中的 Mu 波段时序一致。