[논문 리뷰] Transformers for EEG Emotion Recognition.

Jiyao Liu, Li Zhang외 2명|arXiv (Cornell University)|2021. 10. 13.

EEG and Brain-Computer Interfaces참고 문헌 19인용 수 15

한 줄 요약

이 논문은 원시 EEG 신호로부터 공간적, 주파수적, 시간적 표현을 동시에 학습하는 새로운 자기주의 기반 모델인 EEG 정서 트랜스포머(EeT)를 제안한다. 이는 정서 인식 성능을 향상시키기 위해 각 블록 내에서 시간적 및 공간적 주의 메커니즘을 적용함으로써 SEED 및 SEED-IV 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 정서 관련 신경 패턴을 포괄적으로 포착하는 데 있어 통합 주의 메커니즘의 효과성을 입증한다.

ABSTRACT

Electroencephalogram (EEG) can objectively reflect emotional state and changes. However, the transmission mechanism of EEG in the brain and its internal relationship with emotion are still ambiguous to human beings. This paper presents a novel approach to EEG emotion recognition built exclusively on self-attention over the spectrum, space, and time dimensions to explore the contribution of different EEG electrodes and temporal slices to specific emotional states. Our method, named EEG emotion Transformer (EeT), adapts the conventional Transformer architecture to EEG signals by enabling spatiospectral feature learning directly from the sequences of EEG signals. Our experimental results demonstrate that joint where temporal and spatial attention are applied simultaneously within each block, leads to the best emotion recognition accuracy among the design choices. In addition, compared with other competitive methods, the proposed method achieves state-of-art results on SEED and SEED-IV datasets.

연구 동기 및 목표

• EEG의 신경 전도 메커니즘과 정서 상태 간의 모호함을 해결하기 위해.
• 수작업 특징 추출 없이 원시 EEG 시퀀스에서 직접 학습하는 딥 러닝 모델을 개발하기 위해.
• 개별 EEG 전극과 시간 세그먼트가 정서 상태 분류에 기여하는 방식을 탐색하기 위해.
• EEG 신호의 공간적, 주파수적, 시간적 차원을 동시에 모델링하여 정서 인식 정확도를 향상시키기 위해.
• 주의 메커니즘을 활용하여 EEG 기반 정서 인식의 새로운 최신 기술 수준 기준을 설정하기 위해.

제안 방법

• 표준 트랜스포머 아키텍처를 원시 EEG 시퀀스의 시간, 공간, 주파수 도메인에서 처리함으로써 EEG 신호에 적응시킨다.
• 시간, 전극(공간), 주파수(주파수적)의 세 가지 차원에서 다중 헤드 자기주의를 적용하여 동적 상호작용을 포착한다.
• 각 트랜스포머 블록 내에서 공간적 및 시간적 주의를 동시에 적용하여 정서 상태에 기여하는 전극 특화 및 시간에 따라 변화하는 기여도를 모델링한다.
• 외부 특징 공학 없이도 원시 EEG 시퀀스에서 공간-주파수 표현을 직접 학습한다.
• 모델은 EEG 데이터를 엔드 투 엔드로 훈련하여 정서 분류 성능을 최적화한다.
• 이 방법은 정서 상태가 레이블링된 EEG 기록을 포함하는 SEED 및 SEED-IV 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 EEG 신호의 공간적, 주파수적, 시간적 특징이 정서 인식에 어떻게 기여하는가?
• RQ2 EEG 기반 정서 분류에서 시간과 공간에 대한 통합 주의 메커니즘이 단일 모odal 주의 메커니즘보다 상대적으로 어떤 영향을 미치는가?
• RQ3 원시 EEG 시퀀스에서 직접 훈련된 자기주의 기반 메커니즘이 기존 방법보다 표준 벤치마크에서 승리할 수 있는가?
• RQ4 SEED 및 SEED-IV 데이터셋에서 제안된 모델은 정확도 및 일반화 능력 측면에서 최신 기술 수준의 접근 방식과 비교하여 어떻게 성과를 내는가?

주요 결과

• 각 트랜스포머 블록 내에서 시간적 및 공간적 주의를 통합 적용한 경우, 테스트한 모든 설계 변형 중에서 가장 높은 정서 인식 정확도를 달성한다.
• 제안된 EeT 모델은 SEED 및 SEED-IV 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여 기존의 경쟁적 방법들을 능가한다.
• 모델은 정서 상태와 관련된 동적이고 다차원적인 패턴을 효과적으로 포착한다.
• 결과는 자기주의 기반 메커니즘이 정서 인식을 위한 EEG 데이터 내 복잡한 시공간적 관계를 성공적으로 모델링할 수 있음을 입증한다.