[论文解读] EEGDnet: Fusing Non-Local and Local Self-Similarity for 1-D EEG Signal Denoising with 2-D Transformer

Peng Yi, Kecheng Chen+4 more|arXiv (Cornell University)|Sep 9, 2021

EEG and Brain-Computer Interfaces参考文献 43被引用 7

一句话总结

EEGDnet 是一种新颖的一维 EEG 去噪模型，通过二维 Transformer 联合利用自注意力模块中的非局部自相似性与前馈模块中的局部自相似性，实现了最先进的性能，同时显著降低了模型复杂度。该模型在定量指标和视觉质量方面均优于现有方法，且计算成本低，适用于嵌入式 BCI 应用。

ABSTRACT

Electroencephalogram (EEG) has shown a useful approach to produce a brain-computer interface (BCI). One-dimensional (1-D) EEG signal is yet easily disturbed by certain artifacts (a.k.a. noise) due to the high temporal resolution. Thus, it is crucial to remove the noise in received EEG signal. Recently, deep learning-based EEG signal denoising approaches have achieved impressive performance compared with traditional ones. It is well known that the characteristics of self-similarity (including non-local and local ones) of data (e.g., natural images and time-domain signals) are widely leveraged for denoising. However, existing deep learning-based EEG signal denoising methods ignore either the non-local self-similarity (e.g., 1-D convolutional neural network) or local one (e.g., fully connected network and recurrent neural network). To address this issue, we propose a novel 1-D EEG signal denoising network with 2-D transformer, namely EEGDnet. Specifically, we comprehensively take into account the non-local and local self-similarity of EEG signal through the transformer module. By fusing non-local self-similarity in self-attention blocks and local self-similarity in feed forward blocks, the negative impact caused by noises and outliers can be reduced significantly. Extensive experiments show that, compared with other state-of-the-art models, EEGDnet achieves much better performance in terms of both quantitative and qualitative metrics.

研究动机与目标

• 为解决现有基于深度学习的 EEG 去噪方法在处理一维 EEG 信号时，要么忽略非局部自相似性，要么忽略局部自相似性的问题。
• 开发一种轻量化、端到端的深度学习模型，适用于低功耗嵌入式 BCI 设备。
• 探究二维 Transformer 架构在捕捉一维时间序列 EEG 数据中全局与局部信号模式方面的有效性。
• 通过优化分割方式与网络深度等架构组件，实现模型效率与去噪性能之间的平衡。

提出的方法

• 提出一种基于二维 Transformer 的架构，将一维 EEG 信号转换为二维特征图，以实现对非局部与局部自相似性的联合建模。
• 在二维 Transformer 中利用自注意力机制，捕捉时空维度上的非局部自相似性。
• 在前馈网络中引入一维局部分割机制，以在小信号窗口内建模局部自相似性。
• 通过控制分割大小（k 和 q）实现参数高效的模型设计，以平衡模型复杂度与性能。
• 以端到端方式堆叠多个 Transformer 块，学习分层的去噪表示。
• 通过最小化参数量与 FLOPs 优化模型效率，以适配资源受限的嵌入式 BCI 系统。

实验结果

研究问题

• RQ1 在二维 Transformer 架构中融合非局部与局部自相似性，是否能相比现有方法提升一维 EEG 信号的去噪性能？
• RQ2 二维特征图中的分割大小（k 和 q）如何影响模型复杂度与去噪准确率之间的权衡？
• RQ3 所提出的 EEGDnet 模型是否在定量指标与视觉质量方面均优于当前最先进模型？
• RQ4 二维 Transformer 架构在保持高去噪准确率的同时，能在多大程度上减少模型参数量与 FLOPs，以适配嵌入式 BCI 部署？

主要发现

• EEGDnet 在所有定量指标上均表现最佳，包括 RRMSE（0.491）、频谱 RRMSE（0.626）和 CC（0.732），全面超越所有基线模型。
• 模型在去噪结果中展现出卓越的视觉质量，波形在眼动与肌电伪影情况下均与真实信号高度吻合。
• 消融实验表明，当分割大小（k）与局部窗口大小（q）保持平衡时可获得最优性能，避免退化为全连接网络。
• 与其它深度学习模型相比，该模型在参数量（182K）与 FLOPs（1682M）上实现了显著减少，适用于低功耗嵌入式系统。
• 减少模型深度与注意力头数量可提升小数据集上的性能，表明在此设置下更简单的架构具有更好的泛化能力。
• EEGDnet 展现出超越 EEG 去噪任务的泛化潜力，可推广至其他一维信号处理任务。