[논문 리뷰] EmT: A Novel Transformer for Generalized Cross-subject EEG Emotion Recognition

Yi Ding, Chengxuan Tong외 5명|arXiv (Cornell University)|2024. 06. 26.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

EmT는 장기적인 시간적 맥락과 다중 시야 뇌 연결성을 모델링하여 일반화된 교차 주제 EEG 정서 인식을 향상시키는 새로운 그래프-트랜스포머 모델이다. 동적 EEG 특징 그래프를 생성하기 위해 시간적 그래프 구축 모듈을 사용하고, 다양한 공간 연결성을 학습하기 위해 잔차 다중 시야 피라미드 GCN(RMPG)을 적용하며, 순차적 의존성을 포착하기 위해 이중 토큰 믹서를 갖춘 시간적 맥락 트랜스포머(TCT)를 활용하여, 네 개의 공개 데이터셋에서 분류 및 회귀 과제 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Integrating prior knowledge of neurophysiology into neural network architecture enhances the performance of emotion decoding. While numerous techniques emphasize learning spatial and short-term temporal patterns, there has been limited emphasis on capturing the vital long-term contextual information associated with emotional cognitive processes. In order to address this discrepancy, we introduce a novel transformer model called emotion transformer (EmT). EmT is designed to excel in both generalized cross-subject EEG emotion classification and regression tasks. In EmT, EEG signals are transformed into a temporal graph format, creating a sequence of EEG feature graphs using a temporal graph construction module (TGC). A novel residual multi-view pyramid GCN module (RMPG) is then proposed to learn dynamic graph representations for each EEG feature graph within the series, and the learned representations of each graph are fused into one token. Furthermore, we design a temporal contextual transformer module (TCT) with two types of token mixers to learn the temporal contextual information. Finally, the task-specific output module (TSO) generates the desired outputs. Experiments on four publicly available datasets show that EmT achieves higher results than the baseline methods for both EEG emotion classification and regression tasks. The code is available at https://github.com/yi-ding-cs/EmT.

연구 동기 및 목표

• 기존 EEG 정서 인식 모델에서 장기적인 맥락 모델링의 부족을 해결하기 위해.
• 동적 뇌 연결성과 반구 대칭성과 같은 신경생리학적 사전 지식을 딥 러닝 아키텍처에 통합하기 위해.
• 교차 주제 EEG 정서 인식에서 분류 및 회귀 과제 모두에 대해 강력하게 작동하는 통합 프레임워크를 개발하기 위해.
• 정서 자극 중 다양한 인지 과정에 해당하는 다수의 서로 다른 뇌 연결 패턴을 학습할 수 있도록 하기 위해.

제안 방법

• EEG 신호는 시간적 그래프 구축(TGC) 모듈을 통해 시간적 그래프로 변환되며, 각 세그먼트는 하위 세그먼트로 분할되고 주파수 대역 특징이 추출된다.
• 잔차 다중 시야 피라미드 GCN(RMPG) 모듈은 학습 가능한 인접 행렬을 가진 다중 병렬 GCN을 적용하여 모든 EEG 채널을 통해 다수 수준의 다중 시야 공간 표현을 캡처한다.
• RMPG의 출력은 평균 풀링을 통해 각 시간 그래프당 하나의 토큰으로 융합되어 토큰 임베딩의 시퀀스를 형성한다.
• 두 가지 특화된 토큰 믹서 설계(TCT-Clas 및 TCT-Regr)를 갖춘 시간적 맥락 트랜스포머(TCT) 모듈이 시퀀스를 처리하여 장거리 시간적 의존성을 모델링한다.
• 과제별 출력 모듈(TSO)은 예측을 생성한다: 분류 헤드는 정서 클래스 레이블을, 회귀 헤드는 연속적인 밸런스/각성 점수를 생성한다.
• 모델은 네 개의 공개 EEG 데이터셋에서 엔드 투 엔드로 훈련되며, 구성 요소 기여도를 검증하기 위해 추론 분석이 실시된다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 정서 인식을 위한 EEG 신호에서 장기적인 시간적 맥락 정보를 효과적으로 모델링할 수 있는가?
• RQ2 학습 가능한 인접 행렬을 가진 다수의 GCN을 통해 다수의 다양한 뇌 연결 패턴을 학습하는 것이 교차 주제 EEG 정서 인식 성능을 향상시키는가?
• RQ3 신경생리학적으로 유용한 공간 및 시간 모델링을 통합하면, 예측되지 않은 주제 간 일반화 성능이 향상되는가?
• RQ4 다양한 EEG 특징 유형(rPSD, DE, PSD 등)이 분류 및 회귀 과제에서 EmT 모델의 성능에 어떤 영향을 미치는가?
• RQ5 TCT 블록의 수가 분류 과제와 회귀 과제에서 성능에 미치는 영향은 어느 정도인가?

주요 결과

• EmT는 네 개의 공개 데이터셋에서 분류 및 회귀 과제 모두에서 최신 기술 수준의 성능을 달성하였으며, SEED에서 정확도는 0.802, F1 스코어는 0.821에 도달하였다.
• 입력 특징으로 상대적 파wer 스펙트럼 밀도(rPSD)를 사용할 경우 가장 높은 성능를 기록하였으며, 이는 차분 엔트로피(DE) 및 파워 스펙트럼 밀도(PSD)보다 뛰어났다.
• TCT 블록 수를 늘리면 분류 성능이 크게 향상되며(정확도 0.780에서 0.802로 증가), 반면 회귀 지표에는 거의 영향을 주지 않았다(RMSE ~0.06, PCC ~0.48, CCC ~0.39).
• 모델은 두 가지 독립적이고 신경생리학적으로 의미 있는 뇌 연결 패턴을 학습하였다: 하나는 주의와 관련된 전두-측두-후두부 영역을 포함하고, 다른 하나는 정서 및 시각 처리와 관련된 전두-측두-후두부-두정부 네트워크를 포함한다.
• 학습된 인접 행렬의 시각화 결과, EmT가 정서 자극 기간 동안 강한 F6-POz 및 FC4-P7 연결 패턴과 같은 임상적으로 의미 있는 연결 패턴을 포착하고 있음을 확인하였다.
• 잔차 다중 시야 피라미드 GCN(RMPG)은 다수의 GCN 브랜치에서 독립적인 인접 행렬을 학습함으로써 다양한 다수 수준의 그래프 표현을 효과적으로 캡처한다.