[논문 리뷰] EEGDnet: Fusing Non-Local and Local Self-Similarity for 1-D EEG Signal Denoising with 2-D Transformer

Peng Yi, Kecheng Chen외 4명|arXiv (Cornell University)|2021. 09. 09.

EEG and Brain-Computer Interfaces참고 문헌 43인용 수 7

한 줄 요약

EEGDnet은 1D EEG 노이즈 제거 모델로, 2D 트랜스포머를 활용하여 자기주의 자기유사성(self-similarity)을 자기주의 어텐션 블록에서 비국소적(non-local)으로, 피드포워드 블록에서 국소적(local)으로 동시에 활용함으로써, 모델 복잡도를 감소시키면서도 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 임베디드 BCI 응용 분야에서 낮은 계산 비용을 유지하면서도 정량적 지표와 시각적 품질에서 기존 방법들을 능가한다.

ABSTRACT

Electroencephalogram (EEG) has shown a useful approach to produce a brain-computer interface (BCI). One-dimensional (1-D) EEG signal is yet easily disturbed by certain artifacts (a.k.a. noise) due to the high temporal resolution. Thus, it is crucial to remove the noise in received EEG signal. Recently, deep learning-based EEG signal denoising approaches have achieved impressive performance compared with traditional ones. It is well known that the characteristics of self-similarity (including non-local and local ones) of data (e.g., natural images and time-domain signals) are widely leveraged for denoising. However, existing deep learning-based EEG signal denoising methods ignore either the non-local self-similarity (e.g., 1-D convolutional neural network) or local one (e.g., fully connected network and recurrent neural network). To address this issue, we propose a novel 1-D EEG signal denoising network with 2-D transformer, namely EEGDnet. Specifically, we comprehensively take into account the non-local and local self-similarity of EEG signal through the transformer module. By fusing non-local self-similarity in self-attention blocks and local self-similarity in feed forward blocks, the negative impact caused by noises and outliers can be reduced significantly. Extensive experiments show that, compared with other state-of-the-art models, EEGDnet achieves much better performance in terms of both quantitative and qualitative metrics.

연구 동기 및 목표

• 기존의 딥러닝 기반 1D EEG 노이즈 제거 방법들이 비국소적 또는 국소적 자기유사성을 간과하는 한계를 해결하기 위해.
• 저전력 임베디드 BCI 장치에 적합한 경량이며 엔드 투 엔드 딥러닝 모델을 개발하기 위해.
• 2D 트랜스포머 아키텍처가 1D 시계열 EEG 데이터에서 전역적이고 국소적인 신호 패턴을 어떻게 포착할 수 있는지 탐색하기 위해.
• 세그멘테이션 및 깊이와 같은 아키텍처 구성 요소를 최적화하여 모델 효율성과 노이즈 제거 성능의 균형을 이루기 위해.

제안 방법

• 1D EEG 신호를 2D 특징 맵으로 변환하여 비국소적 및 국소적 자기유사성을 동시에 모델링할 수 있도록 2D 트랜스포머 기반 아키텍처를 제안한다.
• 2D 트랜스포머의 자기주의 어텐션 메커니즘을 활용하여 공간적 및 시간적 차원에서 비국소적 자기유사성을 포착한다.
• 1D 국소 세그멘테이션을 적용한 피드포워드 네트워크를 활용하여 작은 신호 윈도우 내에서 국소적 자기유사성을 모델링한다.
• 세그멘테이션 크기(k 및 q)를 제어하여 파라미터 효율적인 설계를 구현함으로써 모델 복잡도와 성능의 균형을 맞춘다.
• 계층적인 노이즈 제거 표현을 학습하기 위해 엔드 투 엔드 방식으로 다수의 트랜스포머 블록을 스택한다.
• 모델 효율성을 높이기 위해 파라미터 수와 FLOPs를 최소화함으로써 자원 제약이 있는 임베디드 BCI 시스템에의 배포를 목표로 한다.

실험 결과

연구 질문

• RQ1 2D 트랜스포머 아키텍처에서 비국소적 및 국소적 자기유사성을 융합함으로써, 기존 방법들에 비해 1D EEG 신호의 노이즈 제거 성능이 향상되는가?
• RQ2 2D 특징 맵에서의 세그멘테이션 크기(k 및 q)는 모델 복잡도와 노이즈 제거 정확도 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 제안된 EEGDnet 모델이 최신 기술 수준의 모델들에 비해 정량적 지표와 시각적 품질 양면에서 뛰어난 성능을 달성하는가?
• RQ4 2D 트랜스포머 아키텍처는 높은 노이즈 제거 정확도를 유지하면서도 얼마나 모델 파라미터와 FLOPs를 감소시키는가? 이는 임베디드 BCI 배포에 얼마나 기여하는가?

주요 결과

• EEGDnet은 RRMSE(0.491), 스펙트럼 RRMSE(0.626), CC(0.732)를 포함한 모든 정량적 지표에서 최고 성능을 기록하며, 모든 베이스라인을 압도한다.
• 모델은 시각적 품질 면에서도 뛰어난 성능을 보이며, 특히 망막 및 근육 아티팩트 케이스에서 웨이브폼이 정답과 매우 유사하게 재현된다.
• 제거 실험(ablation study) 결과, 세그멘테이션 크기(k)와 국소 윈도우 크기(q)가 균형을 이루었을 때 최적의 성능이 달성되며, 완전히 연결된 네트워크로의 성능 저하를 피할 수 있음을 확인했다.
• 기타 딥러닝 모델들과 비교해 파라미터 수(182K)와 FLOPs(1682M)를 크게 감소시켜, 저전력 임베디드 시스템에 매우 적합한 것으로 나타났다.
• 작은 데이터셋에서 모델 깊이와 어텐션 헤드 수를 줄이면 성능이 향상됨을 확인하여, 이 설정에서는 더 단순한 아키텍처가 더 잘 일반화됨을 시사한다.
• EEGDnet은 EEG 노이즈 제거를 넘어 다른 1D 신호 처리 작업에도 적용 가능하며, 일반화 잠재력이 있음을 보여주었다.