[논문 리뷰] Spatial-temporal Transformers for EEG Emotion Recognition

Jiyao Liu, Hao Wu외 2명|arXiv (Cornell University)|2021. 10. 13.

EEG and Brain-Computer Interfaces인용 수 5

한 줄 요약

이 논문은 EEG 기반 정서 인식을 위한 공간-시간 트랜스포머 프레임워크(EeT)를 제안하며, 자기주의 주의(self-attention) 메커니즘을 활용해 전기적 전극 간의 공간적 관계와 시간적 동역학을 동시에 모델링한다. 동시 공간-시간 주의(variant)는 SEED 데이터셋에서 96.28%의 최고 성능을 기록했고, DEAP 데이터셋에서는 93.34%를 기록하여, EEG의 공간-시간 특징를 통합적으로 모델링할 경우 정서 인식 성능 향상이著명하다는 것을 입증한다.

ABSTRACT

Electroencephalography (EEG) is a popular and effective tool for emotion recognition. However, the propagation mechanisms of EEG in the human brain and its intrinsic correlation with emotions are still obscure to researchers. This work proposes four variant transformer frameworks~(spatial attention, temporal attention, sequential spatial-temporal attention and simultaneous spatial-temporal attention) for EEG emotion recognition to explore the relationship between emotion and spatial-temporal EEG features. Specifically, spatial attention and temporal attention are to learn the topological structure information and time-varying EEG characteristics for emotion recognition respectively. Sequential spatial-temporal attention does the spatial attention within a one-second segment and temporal attention within one sample sequentially to explore the influence degree of emotional stimulation on EEG signals of diverse EEG electrodes in the same temporal segment. The simultaneous spatial-temporal attention, whose spatial and temporal attention are performed simultaneously, is used to model the relationship between different spatial features in different time segments. The experimental results demonstrate that simultaneous spatial-temporal attention leads to the best emotion recognition accuracy among the design choices, indicating modeling the correlation of spatial and temporal features of EEG signals is significant to emotion recognition.

연구 동기 및 목표

• 공간적 및 시간적 EEG 특징가 정서 인식 성능에 미치는 영향을 조사하기 위해.
• 다중 채널 EEG 신호에서 전역적인 공간-시간 의존성을 포착하는 데에 한계가 있는 CNN 및 RNN의 문제점을 해결하기 위해.
• 공간적 및 시간적 상관관계를 동시에 모델링할 경우 정서 인식 정확도 향상이 이루어지는지 탐색하기 위해.
• 정서 분류를 위한 EEG 신호의 공간-시간 동역학을 명시적으로 모델링하는 트랜스포머 기반 프레임워크를 개발하기 위해.
• 공간 주의, 시간 주의, 순차적 주의, 동시 주의와 같은 다양한 주의 메커니즘을 비교하여 EEG 정서 인식에 가장 효과적인 아키텍처를 규명하기 위해.

제안 방법

• 공간 주의, 시간 주의, 순차적 공간-시간 주의, 동시 공간-시간 주의의 네 가지 변종을 갖는 트랜스포머 기반 EEG 정서 인식 모델을 설계한다.
• 자기주의 주의 메커니즘을 사용하여 EEG 전극 간의 공간적 관계와 시간 세그먼트 간의 시간적 의존성을 학습한다.
• 다중 헤드 주의 메커니즘을 적용하여 공간 및 시간 차원 양쪽에서 장거리 의존성을 포착한다.
• 양측 대뇌에서 유입되는 EEG 신호를 별도로 처리하는 듀얼 브랜치 아키텍처를 도입하여, 더 높은 구분 능력의 표현 학습을 향상시킨다.
• 교차 엔트로피 손실을 사용하여 학습된 특징를 정서 레이블로 매핑하기 위해 심층 신경망(DNN)과 분류 헤드를 통합한다.
• 학습된 고차원 특징의 구분 능력을 분석하기 위해 t-SNE 시각화를 활용한다.

Fig. 1 : Overview of EEG Emotion Recognition Transformer (EeT)

실험 결과

연구 질문

• RQ1 공간적 및 시간적 EEG 특징가 정서 인식 성능에 각각 어떤 기여를 하는가?
• RQ2 공간적 및 시간적 상관관계를 동시에 모델링하는 것과 순차적 또는 독립적으로 모델링하는 것의 상대적 영향은 어떠한가?
• RQ3 공간적 및 시간적 특징를 동시에 모델링할 경우 순차적 또는 단일 모odal 주의보다 더 높은 정서 인식 정확도를 달성하는가?
• RQ4 제안된 트랜스포머 기반 프레임워크는 기존의 CNN 및 RNN 기반 모델과 비교해 어떤가?
• RQ5 공간 주의와 시간 주의 중 어느 것이 정서 관련 EEG 패턴을 더 잘 포착하는가?

주요 결과

• 동시 공간-시간 주의(S+T) 변종은 SEED 데이터셋에서 96.28%의 최고 정확도를 기록했고, DEAP 데이터셋에서는 93.34%를 달성하여, 모든 다른 변종 및 최고 성능 모델을 초월했다.
• S+T 주의 메커니즘은 DEAP 데이터셋에서 자극성(arousal)과 가치성(valence)에 대해 각각 3D-CNN보다 정확도를 4.85%, 5.42% 향상시켰다.
• S+T 변종은 3D-CNN에 비해 SEED에서 표준편차를 0.59% 감소시켰고, SEED-IV에서도 동일한 수준의 감소를 기록하여 더 높은 모델 안정성을 입증했다.
• 제거 분석(ablation study) 결과, 병합 모델링(S+T)은 SEED와 SEED-IV에서 각각 두 번째로 우수한 변종(S-T)보다 정확도를 0.63%, 2.96% 향상시켰다.
• 공간 주의만으로도 시간 주의보다 SEED와 SEED-IV에서 각각 0.4%, 0.94% 높은 정확도를 기록하여, 공간적 특징가 더 많은 정서 관련 정보를 담고 있음을 시사한다.
• t-SNE 시각화 결과, S+T 주의를 사용해 학습된 특징는 더 높은 분류 능력을 보였으며, 임베딩 공간에서 클래스 간 분리도가 뚜렷했다.