[논문 리뷰] STILN: A Novel Spatial-Temporal Information Learning Network for EEG-based Emotion Recognition

Yiheng Tang, Yongxiong Wang외 2명|arXiv (Cornell University)|2022. 11. 22.

EEG and Brain-Computer Interfaces인용 수 6

한 줄 요약

이 논문은 전기뇌파 기반 정서 인식을 위한 새로운 딥러닝 프레임워크인 STILN을 제안한다. 이 프레임워크는 전극 간 공간적 상관관계와 시간 프레임 간 시간적 동역학을 동시에 모델링한다. 2차원 파wer 토포그래픽 맵, CBAM 어텐션, 하이브리드 정규화를 갖춘 양방향 LSTM 네트워크를 활용하여 DEAP 데이터셋에서 주관 독립적 성능로 최신 기술 수준에 도달하였으며, 각각 각성도 및 정서도 분류에서 68.31% 및 67.52%의 정확도를 달성하였다.

ABSTRACT

The spatial correlations and the temporal contexts are indispensable in Electroencephalogram (EEG)-based emotion recognition. However, the learning of complex spatial correlations among several channels is a challenging problem. Besides, the temporal contexts learning is beneficial to emphasize the critical EEG frames because the subjects only reach the prospective emotion during part of stimuli. Hence, we propose a novel Spatial-Temporal Information Learning Network (STILN) to extract the discriminative features by capturing the spatial correlations and temporal contexts. Specifically, the generated 2D power topographic maps capture the dependencies among electrodes, and they are fed to the CNN-based spatial feature extraction network. Furthermore, Convolutional Block Attention Module (CBAM) recalibrates the weights of power topographic maps to emphasize the crucial brain regions and frequency bands. Meanwhile, Batch Normalizations (BNs) and Instance Normalizations (INs) are appropriately combined to relieve the individual differences. In the temporal contexts learning, we adopt the Bidirectional Long Short-Term Memory Network (Bi-LSTM) network to capture the dependencies among the EEG frames. To validate the effectiveness of the proposed method, subject-independent experiments are conducted on the public DEAP dataset. The proposed method has achieved the outstanding performance, and the accuracies of arousal and valence classification have reached 0.6831 and 0.6752 respectively.

연구 동기 및 목표

• 다양한 전기뇌파 전극 간의 복잡한 공간적 상관관계를 정서 인식에서 학습하는 데 도전하는 것.
• 정서 자극 기간 동안 중요한 프레임을 강조하기 위해 전기뇌파 신호의 시간적 의존성을 모델링하는 것.
• 배치 정규화와 인스턴스 정규화의 조합을 통해 전기뇌파 데이터의 개인적 차이를 줄이는 것.
• 종합적인 딥러닝을 통해 전기뇌파 기반 정서 인식의 각성도 및 정서도 분류 성능을 향상시키는 것.

제안 방법

• 전기뇌파 신호를 2차원 파워 토포그래픽 맵으로 변환하여 전극 간 공간적 관계를 표현하는 것.
• 파워 맵에서 구분 가능한 공간 패턴을 학습하기 위해 CNN 기반의 공간적 특징 추출 네트워크를 적용하는 것.
• 특징 맵을 재조정하고 중요한 뇌 부위 및 주파수 대역을 강조하기 위해 컨볼루션 블록 어텐션 모듈(CBAM)을 통합하는 것.
• 전기뇌파 데이터의 개인 간 변동성을 완화하기 위해 배치 정규화와 인스턴스 정규화의 조합을 사용하는 것.
• 전기뇌파 프레임 간 장기적인 시간적 의존성을 캡처하기 위해 이중 방향 장단기 기억(Bi-LSTM) 네트워크를 활용하는 것.
• DEAP 데이터셋에서 주관 독립적 교차 검증을 사용하여 종합적인 STILN 모델을 훈련하는 것.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 정서 인식을 위해 다수의 전기뇌파 전극 간 공간적 상관관계를 얼마나 효과적으로 캡처할 수 있는가?
• RQ2 시간적 동역학을 모델링함으로써 전기뇌파 기반 정서 분류 정확도가 얼마나 향상되는가?
• RQ3 어떤 방식으로 어텐션 메커니즘이 중요한 뇌 부위와 주파수 대역에 집중함으로써 특징 표현을 향상시킬 수 있는가?
• RQ4 배치 정규화와 인스턴스 정규화의 조합이 주관 간 일반화에 어떤 영향을 미치는가?
• RQ5 제안된 STILN 모델의 주관 독립적 전기뇌파 기반 정서 인식 성능은 어떠한가?

주요 결과

• 제안된 STILN 모델은 DEAP 데이터셋에서 주관 독립적 분류 정확도로 각성도 분류에 대해 68.31%의 성능을 달성하였다.
• 정서도 분류의 주관 독립적 정확도는 67.52%에 도달하여 뛰어난 일반화 능력을 보였다.
• CBAM 어텐션의 통합으로 관련 뇌 부위와 주파수 대역을 강조함으로써 특징 표현이 향상되었다.
• 배치 정규화와 인스턴스 정규화의 조합이 전기뇌파 신호의 개인적 차이에 미치는 영향을 효과적으로 줄였다.
• Bi-LSTM 구성 요소는 전기뇌파 프레임 간 장기적인 시간적 의존성을 성공적으로 캡처하여 성능 향상에 기여하였다.
• 전체 아키텍처는 주관 독립적 전기뇌파 기반 정서 인식에서 최신 기술 수준의 성능을 보였다.