[论文解读] miMamba: EEG-based Emotion Recognition with Multi-scale Inverted Mamba Models

Xin Zhou, Huang, Dawei+2 more|arXiv (Cornell University)|Sep 11, 2024

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

该论文提出MS-iMamba，一种新颖的基于EEG的情绪识别模型，通过多尺度时间块（MSTB）和时空融合块（TSFB）捕捉多尺度时间依赖性和时空交互作用，无需依赖人工的时间-频率特征提取。仅使用四通道EEG信号，该模型在DEAP、DREAMER和SEED数据集上分别实现了94.86%、94.94%和91.36%的最先进准确率。

ABSTRACT

EEG-based emotion recognition holds significant potential in the field of brain-computer interfaces. A key challenge lies in extracting discriminative spatiotemporal features from electroencephalogram (EEG) signals. Existing studies often rely on domain-specific time-frequency features and analyze temporal dependencies and spatial characteristics separately, neglecting the interaction between local-global relationships and spatiotemporal dynamics. To address this, we propose a novel network called Multi-Scale Inverted Mamba (MS-iMamba), which consists of Multi-Scale Temporal Blocks (MSTB) and Temporal-Spatial Fusion Blocks (TSFB). Specifically, MSTBs are designed to capture both local details and global temporal dependencies across different scale subsequences. The TSFBs, implemented with an inverted Mamba structure, focus on the interaction between dynamic temporal dependencies and spatial characteristics. The primary advantage of MS-iMamba lies in its ability to leverage reconstructed multi-scale EEG sequences, exploiting the interaction between temporal and spatial features without the need for domain-specific time-frequency feature extraction. Experimental results on the DEAP, DREAMER, and SEED datasets demonstrate that MS-iMamba achieves classification accuracies of 94.86%, 94.94%, and 91.36%, respectively, using only four-channel EEG signals, outperforming state-of-the-art methods.

研究动机与目标

• 为克服EEG情绪识别中人工时间-频率特征提取的局限性，该方法旨在减少时间消耗并保留时间信息。
• 通过更有效地整合时空动态，解决现有模型中时间与空间特征分析脱节的问题。
• 开发一种轻量级、端到端的深度学习架构，仅使用极少EEG通道即可实现高性能。
• 提升模型在复杂、真实世界EEG数据场景下的泛化能力与鲁棒性。
• 探索仅使用四个额极EEG通道实现高精度情绪识别的可行性，以减轻硬件与数据采集负担。

提出的方法

• 提出多尺度时间块（MSTB），在多个时间尺度上处理EEG序列，以捕捉局部细节与全局依赖性。
• 提出基于倒置Mamba结构的时空融合块（TSFB），用于建模时间动态与空间电极关系之间的动态交互。
• 用从原始EEG信号中直接学习的多尺度表征替代传统的时间-频率特征工程。
• 采用即插即用的设计，使MSTB与TSFB模块可模块化地集成到各类基于EEG的情绪识别框架中。
• 采用基于补丁的分割策略，将时间步分组为子序列级补丁，以增强特征表示，同时保持时间连续性。
• 利用Mamba的状态空间模型（SSM）机制，高效建模EEG序列中的长程时间依赖性。

实验结果

研究问题

• RQ1 是否可以通过多尺度时间建模方法，在不依赖领域特定时间-频率特征的情况下提升EEG情绪识别性能？
• RQ2 基于Mamba架构的时空融合块在捕捉EEG通道与时间动态之间动态交互方面效果如何？
• RQ3 仅使用四个额极EEG通道与全头布局相比，对识别性能的影响有多大？
• RQ4 MSTB与TSFB模块的结合在不同EEG数据集上如何提升模型的泛化能力与鲁棒性？
• RQ5 在数据有限的跨被试与跨会话情绪识别场景中，所提模型的性能如何？

主要发现

• MS-iMamba仅使用四通道EEG信号，在DEAP数据集上实现了94.86%的分类准确率，超越了现有SOTA方法。
• 在DREAMER数据集上，该模型达到94.94%的准确率，展现出在连续情绪识别任务中的强大性能。
• 在SEED数据集上，模型达到91.36%的准确率，表明其在不同情绪状态与数据分布间具有良好的泛化能力。
• TSFB模块对性能提升的贡献大于MSTB，尤其在复杂、高维数据环境中更为显著。
• MSTB与TSFB的组合性能优于单一组件，凸显了特征学习中的协同增益效应。
• 尽管在被试内设置下表现优异，该模型在跨被试与跨会话场景中表现欠佳，表明仍需进一步提升数据效率的适应能力。