[论文解读] RFNet: Riemannian Fusion Network for EEG-based Brain-Computer Interfaces.

Guangyi Zhang, Sadegh Etemad|arXiv (Cornell University)|Aug 19, 2020

EEG and Brain-Computer Interfaces参考文献 63被引用 13

一句话总结

RFNet 是一种黎曼融合网络，通过在黎曼流形上利用对称正定矩阵整合空间脑电信号特征，并结合基于微分熵和功率谱密度的时序特征，采用带有软注意力机制的长短期记忆网络进行时序建模，以及可学习的融合机制，显著提升了基于脑电信号的脑机接口（BCI）性能。该方法在四个公开的脑机接口数据集上，在情绪识别、警觉性估计和运动想象分类等任务中均取得了最先进（SOTA）的性能表现。

ABSTRACT

This paper presents the novel Riemannian Fusion Network (RFNet), a deep neural architecture for learning spatial and temporal information from Electroencephalogram (EEG) for a number of different EEG-based Brain Computer Interface (BCI) tasks and applications. The spatial information relies on Spatial Covariance Matrices (SCM) of multi-channel EEG, whose space form a Riemannian Manifold due to the Symmetric and Positive Definite structure. We exploit a Riemannian approach to map spatial information onto feature vectors in Euclidean space. The temporal information characterized by features based on differential entropy and logarithm power spectrum density is extracted from different windows through time. Our network then learns the temporal information by employing a deep long short-term memory network with a soft attention mechanism. The output of the attention mechanism is used as the temporal feature vector. To effectively fuse spatial and temporal information, we use an effective fusion strategy, which learns attention weights applied to embedding-specific features for decision making. We evaluate our proposed framework on four public datasets from three popular fields of BCI, notably emotion recognition, vigilance estimation, and motor imagery classification, containing various types of tasks such as binary classification, multi-class classification, and regression. RFNet approaches the state-of-the-art on one dataset (SEED) and outperforms other methods on the other three datasets (SEED-VIG, BCI-IV 2A, and BCI-IV 2B), setting new state-of-the-art values and showing the robustness of our framework in EEG representation learning.

研究动机与目标

• 开发一种深度学习框架，以有效捕捉多种脑机接口任务中的空间与时序脑电图（EEG）模式。
• 通过对称正定协方差矩阵，利用黎曼几何对空间EEG特征进行建模。
• 通过时间窗内计算的微分熵与对数功率谱密度提取具有判别性的时序特征。
• 通过可学习的注意力融合机制整合空间与时序表征，以提升决策性能。
• 在多种脑机接口任务（包括二分类、多分类与回归问题）上评估该框架，涵盖多样化的数据集。

提出的方法

• 空间脑电信号特征通过空间协方差矩阵（SCM）提取，由于其对称与正定性质，SCM构成一个黎曼流形。
• 黎曼神经网络将SCM映射到欧氏空间以供下游处理，同时保留其几何结构。
• 时序特征通过时间窗计算微分熵与对数功率谱密度，以捕捉动态脑活动。
• 深层长短期记忆（LSTM）网络处理时序特征，并通过软注意力机制生成上下文表征。
• 注意力机制生成加权时序特征向量，突出相关的时间段。
• 可学习的融合策略通过为每个特征嵌入学习注意力权重，实现空间与时序嵌入的融合，用于最终决策预测。

实验结果

研究问题

• RQ1 与标准欧氏方法相比，基于黎曼几何的空间EEG表征方法是否能提升脑机接口任务的性能？
• RQ2 基于微分熵与功率谱密度的时序特征在多大程度上能有效捕捉EEG中的动态脑状态？
• RQ3 可学习的注意力融合机制是否能提升空间与时序特征融合在多样化脑机接口任务中的泛化能力？
• RQ4 所提出的RFNet框架是否能在包括情绪识别、警觉性估计与运动想象在内的多种EEG基脑机接口应用中实现最先进性能？
• RQ5 当应用于任务类型与数据特性各异的数据集时，RFNet架构的鲁棒性如何？

主要发现

• 在SEED数据集上进行情绪识别任务时，RFNet取得了最先进性能，设定了新的基准。
• 在SEED-VIG数据集上进行警觉性估计任务时，RFNet优于所有对比方法，展现出更优的回归精度。
• 在BCI-IV 2A与2B数据集上进行运动想象分类任务时，RFNet的分类准确率高于现有最先进模型。
• 所提出的黎曼融合机制能有效整合空间与时序EEG表征，提升模型在多样化脑机接口任务中的鲁棒性。
• 基于注意力的时序建模能够捕捉关键时间片段，提升特征判别力与泛化能力。
• 该框架在不同EEG数据类型（包括二分类、多分类与回归任务）中均表现出强大的泛化能力。