[논문 리뷰] CLDTA: Contrastive Learning based on Diagonal Transformer Autoencoder for Cross-Dataset EEG Emotion Recognition

Yuan Liao, Yuhong Zhang외 6명|arXiv (Cornell University)|2024. 06. 12.

EEG and Brain-Computer Interfaces인용 수 5

한 줄 요약

CLDTA를 소개하는 대조 학습 프레임워크로, 대각선 마스킹 트랜스포머 자동인코더를 통해 교차 데이터셋 EEG 감정 인식을 강화하고 빠른 피실험자 적응을 가능하게 한다.

ABSTRACT

Recent advances in non-invasive EEG technology have broadened its application in emotion recognition, yielding a multitude of related datasets. Yet, deep learning models struggle to generalize across these datasets due to variations in acquisition equipment and emotional stimulus materials. To address the pressing need for a universal model that fluidly accommodates diverse EEG dataset formats and bridges the gap between laboratory and real-world data, we introduce a novel deep learning framework: the Contrastive Learning based Diagonal Transformer Autoencoder (CLDTA), tailored for EEG-based emotion recognition. The CLDTA employs a diagonal masking strategy within its encoder to extracts full-channel EEG data's brain network knowledge, facilitating transferability to the datasets with fewer channels. And an information separation mechanism improves model interpretability by enabling straightforward visualization of brain networks. The CLDTA framework employs contrastive learning to distill subject-independent emotional representations and uses a calibration prediction process to enable rapid adaptation of the model to new subjects with minimal samples, achieving accurate emotion recognition. Our analysis across the SEED, SEED-IV, SEED-V, and DEAP datasets highlights CLDTA's consistent performance and proficiency in detecting both task-specific and general features of EEG signals related to emotions, underscoring its potential to revolutionize emotion recognition research.

연구 동기 및 목표

• 장비 및 자극의 차이로 인한 EEG 감정 인식의 교차 데이터셋 일반화 문제를 해결한다.
• 전체 채널 뇌 네트워크 정보를 포착하고 채널 수가 더 적은 데이터셋으로의 전이를 가능하게 하는 대각선 마스킹 인코더를 제안한다.
• 피험자 독립적인 감정 표현을 추출하기 위해 대조 학습을 도입한다.
• 적은 수의 라벨 데이터로 새로운 피실험자에 빠르게 모델을 적응시킬 수 있게 한다.

제안 방법

• 전체 채널 EEG 데이터에서 뇌 네트워크 정보를 추출하기 위해 인코더에 대각선 마스킹 전략을 사용한다.
• 대각선 마스킹을 갖는 EEG 신호를 모델링하기 위해 트랜스포머 자동인코더 아키텍처를 활용한다.
• 피실험자 불변 감정 표현을 학습하기 위해 대조 학습 목표를 통합한다.
• 해석 가능성을 높이고 뇌 네트워크를 시각화하기 위한 정보 분리 메커니즘을 도입한다.
• 적은 수의 샘플로 새로운 피실험자에 모델을 적응시키기 위한 보정/예측 프로세스를 구현한다.

실험 결과

연구 질문

• RQ1 CLDTA가 SEED, SEED-IV, SEED-V, DEAP 데이터셋 간 교차 데이터셋 일반화를 달성할 수 있는가?
• RQ2 대각선 마스킹 인코더가 채널 수가 더 적은 데이터셋으로 지식을 효과적으로 전달할 수 있는가?
• RQ3 대조 학습이 EEG 신호에 대해 강인하고 피실험자 독립적인 감정 표현을 생성할 수 있는가?
• RQ4 정보 분리 메커니즘이 뇌 네트워크의 해석 가능성을 높이는가?
• RQ5 적은 양의 라벨 데이터로 모델이 새로운 피실험자에 얼마나 빨리 적응할 수 있는가?

주요 결과

• CLDTA는 여러 EEG 감정 데이터셋에서 일관된 성능을 보여준다.
• 대각선 마스킹 인코더가 뇌 네트워크 정보를 포착하여 채널 수가 더 적은 데이터셋으로의 전이를 가능하게 한다.
• 대조 학습은 감정 관련 EEG 신호에 대해 피실험자 독립적인 표현을 생성한다.
• 정보 분리 메커니즘은 뇌 네트워크의 직관적인 시각화를 촉진한다.
• 보정/예측 프로세스는 적은 수의 라벨 샘플로 새로운 피실험자에 빠르게 적응할 수 있게 한다.