[논문 리뷰] 4D Attention-based Neural Network for EEG Emotion Recognition

Xiao Guo-wen, Mengwen Ye외 3명|arXiv (Cornell University)|2021. 01. 14.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 뇌파 감정 인식을 위한 4차원 주의 기반 신경망(4D-aNN)을 제안한다. 원시 EEG 신호를 4차원 공간-주파수-시간 표현으로 변환하고, CNN-LSTM 아키텍처 내에서 주파수, 공간, 시간 주의 메커니즘을 활용한다. 모델은 SEED 데이터셋에서 내부 피험자 평가에서 최신 기술 수준의 성능을 달성하여, 다중 도메인 주의 기반의 중요 EEG 특징을 효과적으로 포착할 수 있음을 입증한다.

ABSTRACT

Electroencephalograph (EEG) emotion recognition is a significant task in the brain-computer interface field. Although many deep learning methods are proposed recently, it is still challenging to make full use of the information contained in different domains of EEG signals. In this paper, we present a novel method, called four-dimensional attention-based neural network (4D-aNN) for EEG emotion recognition. First, raw EEG signals are transformed into 4D spatial-spectral-temporal representations. Then, the proposed 4D-aNN adopts spectral and spatial attention mechanisms to adaptively assign the weights of different brain regions and frequency bands, and a convolutional neural network (CNN) is utilized to deal with the spectral and spatial information of the 4D representations. Moreover, a temporal attention mechanism is integrated into a bidirectional Long Short-Term Memory (LSTM) to explore temporal dependencies of the 4D representations. Our model achieves state-of-the-art performance on the SEED dataset under intra-subject splitting. The experimental results have shown the effectiveness of the attention mechanisms in different domains for EEG emotion recognition.

연구 동기 및 목표

• EEG 신호의 다중 도메인 정보(공간, 주파수, 시간)를 효과적으로 활용하여 감정 인식 문제를 해결하기 위해.
• EEG 데이터의 복잡한 시공간 및 주파수 동역학을 포착하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 4차원 주의 메커니즘을 활용하여 내부 피험자 EEG 감정 인식에서 최신 기술 수준의 성능 향상을 이루기 위해.
• EEG 기반 정서 컴퓨팅에서 주의 메커니즘이 모델의 해석 가능성과 성능 향상에 기여하는지를 검증하기 위해.

제안 방법

• 원시 EEG 신호를 다중 도메인 정보를 유지하는 4차원 공간-주파수-시간 표현으로 변환하기 위해.
• 다양한 주파수 대역과 뇌 영역에 대한 중요도를 동적으로 할당하기 위해 주파수 및 공간 주의 메커니즘을 적용하기 위해.
• 4D 표현에서 계층적인 공간-주파수 특징을 추출하기 위해 3차원 합성곱 신경망(CNN)을 사용하기 위해.
• 시간에 따른 순차적 의존성을 모델링하기 위해 양방향 장기 단기 기억망(LSTM)과 시간 주의 메커니즘을 통합하기 위해.
• 주의 조절된 CNN과 시간 LSTM의 출력을 결합하여 최종 감정 분류를 수행하기 위해.
• SEED 데이터셋에서 교차 엔트로피 손실를 사용한 지도 학습을 통해 엔드 투 엔드 4D-aNN 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 EEG 신호의 관련 주파수, 공간, 시간 패턴을 감정 인식에 효과적으로 포착할 수 있는가?
• RQ2 2D 또는 3D 표현에 비해 4D 표현의 통합이 EEG 기반 감정 인식에서 성능 향상에 기여하는가?
• RQ3 주파수 및 공간 주의 메커니즘이 EEG 데이터의 특징 학습과 모델의 해석 가능성에 어느 정도 기여하는가?
• RQ4 제안된 4D-aNN가 SEED 데이터셋에서 내부 피험자 평가에서 기존 최신 기술 수준의 모델을 초월하는가?
• RQ5 EEG 패턴의 개인 간 변동성에 대해 모델은 감정 분류에서 얼마나 강인한가?

주요 결과

• 4D-aNN는 내부 피험자 교차 검증 하에서 SEED 데이터셋에서 최신 기술 수준의 성능을 달성하여 뛰어난 일반화 능력과 정확도를 입증하였다.
• 주파수, 공간, 시간 주의 메커니즘의 통합은 주의 기반 모델이 없는 기준 모델 대비 모델 성능을 크게 향상시켰다.
• 주의 메커니즘이 감정 상태와 관련된 판별적 뇌 영역과 주파수 대역을 효과적으로 강조하여 모델의 해석 가능성을 향상시켰다.
• 3D-CNN 컴포넌트는 4D 표현에서 복잡한 공간-주파수 패턴을 성공적으로 포착하여 높은 특징 분류 능력을 기여하였다.
• 시간 주의 메커니즘을 갖춘 양방향 LSTM은 EEG 시퀀스의 장거리 시간 의존성을 효과적으로 모델링하여 순차적 맥락 이해를 향상시켰다.
• 제거 실험을 통해 각 주의 메커니즘(주파수, 공간, 시간)이 성능 향상에 독립적으로 기여하는 것으로 확인되었다.