[論文レビュー] EEGDnet: Fusing Non-Local and Local Self-Similarity for 1-D EEG Signal Denoising with 2-D Transformer

Peng Yi, Kecheng Chen+4 more|arXiv (Cornell University)|Sep 9, 2021

EEG and Brain-Computer Interfaces参考文献 43被引用数 7

ひとこと要約

EEGDnet は、自己注意ブロックにおける非局所的自己類似性と、前向き伝搬ブロックにおける局所的自己類似性を同時に活用する 2D Transformer を用いた、1D EEG ノイズ除去のための新規なモデルである。モデルの複雑さを低減しつつ、最先端の性能を達成しており、埋め込み型 BCI 応用に適した低計算コストを維持している。定量的指標および視覚的品質の両面で、既存手法を上回っている。

ABSTRACT

Electroencephalogram (EEG) has shown a useful approach to produce a brain-computer interface (BCI). One-dimensional (1-D) EEG signal is yet easily disturbed by certain artifacts (a.k.a. noise) due to the high temporal resolution. Thus, it is crucial to remove the noise in received EEG signal. Recently, deep learning-based EEG signal denoising approaches have achieved impressive performance compared with traditional ones. It is well known that the characteristics of self-similarity (including non-local and local ones) of data (e.g., natural images and time-domain signals) are widely leveraged for denoising. However, existing deep learning-based EEG signal denoising methods ignore either the non-local self-similarity (e.g., 1-D convolutional neural network) or local one (e.g., fully connected network and recurrent neural network). To address this issue, we propose a novel 1-D EEG signal denoising network with 2-D transformer, namely EEGDnet. Specifically, we comprehensively take into account the non-local and local self-similarity of EEG signal through the transformer module. By fusing non-local self-similarity in self-attention blocks and local self-similarity in feed forward blocks, the negative impact caused by noises and outliers can be reduced significantly. Extensive experiments show that, compared with other state-of-the-art models, EEGDnet achieves much better performance in terms of both quantitative and qualitative metrics.

研究の動機と目的

• 既存のディープラーニングベースの 1D EEG ノイズ除去手法が、非局所的または局所的自己類似性の両方を無視するという制限に対処すること。
• 低消費電力の埋め込み型 BCI デバイスに適した軽量でエンドツーエンドのディープラーニングモデルを開発すること。
• 2D Transformer アーキテクチャが、1D 時系列 EEG データにおけるグローバルおよびローカルな信号パターンをどのように捉えられるかを調査すること。
• セグメンテーションや深さなどのアーキテクチャ的要因を最適化することで、モデル効率とノイズ除去性能のバランスを図ること。

提案手法

• 1D EEG シグナルを 2D 特徴マップに変換することで、非局所的および局所的自己類似性を同時にモデル化可能な 2D Transformer を用いたアーキテクチャを提案。
• 2D Transformer の自己注意機構を用いて、空間的および時間的次元における非局所的自己類似性を捉える。
• 1D 局所的セグメンテーションを用いた前向き伝搬ネットワークを採用し、小さな信号窓内での局所的自己類似性をモデル化。
• セグメンテーションサイズ（k と q）を制御することで、パラメータ効率的な設計を実現し、モデル複雑度と性能のトレードオフを調整。
• 階層的なノイズ除去表現を学習するために、エンドツーエンドの形で複数の Transformer ブロックをスタック。
• パラメータ数と FLOPs（1回の演算数）を最小限に抑えることで、リソース制限のある埋め込み型 BCI システムへのデプロイをターゲットにモデル効率を最適化。

実験結果

リサーチクエスチョン

• RQ1 2D Transformer アーキテクチャを用いて非局所的および局所的自己類似性を統合することで、既存手法と比較して 1D EEG シグナルのノイズ除去性能が向上するか？
• RQ2 2D 特徴マップにおけるセグメンテーションサイズ（k と q）は、モデル複雑度とノイズ除去精度のトレードオフにどのように影響するか？
• RQ3 提案された EEGDnet モデルは、最先端のモデルと比較して、定量的指標および視覚的品質の両面で優れた性能を達成するか？
• RQ4 2D Transformer アーキテクチャは、埋め込み型 BCI デプロイに適した高精度なノイズ除去を維持しつつ、どの程度パラメータ数と FLOPs を削減できるか？

主な発見

• EEGDnet は、RRMSE（0.491）、スペクトル RRMSE（0.626）、CC（0.732）を含む、すべての定量的指標で最高の性能を達成し、すべてのベースラインを上回った。
• 視覚的品質においても優れた性能を示しており、特に眼動作用および筋電アーチファクトの両ケースにおいて、波形が真値に極めて近い再構成が可能だった。
• アブレーションスタディの結果、セグメンテーションサイズ（k）と局所的窓サイズ（q）がバランスが取れている場合に最適な性能が得られ、完全に結合されたネットワークに劣化するのを回避できることが判明した。
• 他のディープラーニングモデルと比較して、パラメータ数（182K）と FLOPs（1682M）を顕著に削減しており、低消費電力の埋め込みシステムに適している。
• 小規模なデータセットでは、モデルの深さとアテンションヘッド数を減らすことで性能が向上した。これは、この設定では単純なアーキテクチャがより良い一般化性能を示す可能性を示唆している。
• EEGDnet は EEG ノイズ除去を越えて、他の 1D シグナル処理タスクへの応用可能性を示しており、汎用性の可能性を示している。