[논문 리뷰] Temporal-spatial Representation Learning Transformer for EEG-based Emotion Recognition

Zhe Wang, Yongxiong Wang외 3명|arXiv (Cornell University)|2022. 11. 16.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 정서 인식을 위한 새로운 트랜스포머 기반 모델을 제안하며, EEG 신호의 시간적 동적 특성과 공간적 상관관계를 동시에 포착한다. 채널 간 공유된 시간적 특징 추출기와 다중 헤드 자기주의를 활용하여 핵심 뇌 부위와 신호 조각을 국소화함으로써, DEAP 및 MAHNOBHCI 데이터셋에서의 자극도 및 정서도 분류 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Both the temporal dynamics and spatial correlations of Electroencephalogram (EEG), which contain discriminative emotion information, are essential for the emotion recognition. However, some redundant information within the EEG signals would degrade the performance. Specifically,the subjects reach prospective intense emotions for only a fraction of the stimulus duration. Besides, it is a challenge to extract discriminative features from the complex spatial correlations among a number of electrodes. To deal with the problems, we propose a transformer-based model to robustly capture temporal dynamics and spatial correlations of EEG. Especially, temporal feature extractors which share the weight among all the EEG channels are designed to adaptively extract dynamic context information from raw signals. Furthermore, multi-head self-attention mechanism within the transformers could adaptively localize the vital EEG fragments and emphasize the essential brain regions which contribute to the performance. To verify the effectiveness of the proposed method, we conduct the experiments on two public datasets, DEAP and MAHNOBHCI. The results demonstrate that the proposed method achieves outstanding performance on arousal and valence classification.

연구 동기 및 목표

• 정서 인식 과정에서 특히 강한 정서 반응이 발생하는 짧은 기간 동안 발생하는 EEG 신호의 중복 정보 문제를 해결하기 위해.
• 다양한 EEG 전극 간의 복잡한 공간적 상관관계를 효과적으로 모델링하면서도, 분류에 기여하는 특징적인 시간적 동적 특성을 유지하기 위해.
• 정서 분류에 관련된 핵심 뇌 부위와 신호 세그먼트를 적응적으로 식별할 수 있는 강력한 딥 러닝 프레임워크를 개발하기 위해.
• 자극도 및 정서도 차원에서 공개된 EEG 기반 정서 인식 벤치마크인 DEAP 및 MAHNOBHCI에서 성능 향상을 이루기 위해.

제안 방법

• 모든 EEG 채널에 걸쳐 공유된 시간적 특징 추출기를 적용하여 원시 신호에서 동적 맥락을 추출함으로써 중복성을 줄이고 파rameter 효율성을 향상시킨다.
• 다중 헤드 자기주의 기법을 통합하여 중요한 EEG 세그먼트를 적응적으로 국소화하고 정서 분류에 가장 기여하는 뇌 부위를 강조한다.
• 통합된 트랜스포머 아키텍처를 사용하여 원시 EEG 시계열에서의 시간적 표현과 전극 어레이 간의 공간 패턴을 함께 학습한다.
• 수작업 특징 공학 없이 원시 EEG 데이터에서 엔드 투 엔드로 학습함으로써 시간적 및 공간적 표현의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 트랜스포머 모델이 원시 EEG 신호에서 정서 인식을 위해 시간적 동적 특성과 공간적 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 EEG 채널 간 공유된 시간적 특징 학습이 성능 향상과 중복성 감소에 어떻게 기여하는가?
• RQ3 다중 헤드 자기주의가 정서 분류를 위해 핵심 뇌 부위와 신호 세그먼트를 어느 정도 정확하게 국소화할 수 있는가?
• RQ4 제안된 방법이 표준 EEG 정서 인식 벤치마크에서 기존 최신 기술 수준의 모델을 초월하는가?

주요 결과

• 제안된 방법은 DEAP 데이터셋에서 자극도 및 정서도 분류 과제에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 능가한다.
• MAHNOBHCI 데이터셋에서는 기존 접근 방식에 비해 자극도 및 정서도 차원 모두에서 뛰어난 분류 정확도를 보였다.
• 제거 실험 결과, 공유된 시간적 특징 추출과 다중 헤드 자기주의 모두 성능 향상에 기여하는 중요한 요소임을 확인하였다.
• 주의 시각화 결과에 따르면, 모델이 핵심 EEG 세그먼트와 뇌 부위를 효과적으로 식별하고 강조하고 있으며, 이는 정서의 신경생리학적 관련성과 일치한다.