[논문 리뷰] Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition

Weishan Ye, Zhiguo Zhang외 7명|arXiv (Cornell University)|2023. 08. 13.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 제한된 레이블 데이터에서 크로스-서브젝트 EEG 기반 정서 인식을 위한 준지도 학습 이중 스트림 자기주의 적대적 그래프 대비 학습 프레임워크를 제안한다. 이는 이중 스트림 그래프 인코더와 자기주의 기반의 적대적 대비 학습을 활용하여 레이블이 적은 데이터에서 표현 학습을 향상시키며, 공개된 EEG 정서 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Electroencephalography (EEG) is an objective tool for emotion recognition with promising applications. However, the scarcity of labeled data remains a major challenge in this field, limiting the widespread use of EEG-based emotion recognition. In this paper, a semi-supervised Dual-stream Self-Attentive Adversarial Graph Contrastive learning framework (termed as DS-AGC) is proposed to tackle the challenge of limited labeled data in cross-subject EEG-based emotion recognition. The DS-AGC framework includes two parallel streams for extracting non-structural and structural EEG features. The non-structural stream incorporates a semi-supervised multi-domain adaptation method to alleviate distribution discrepancy among labeled source domain, unlabeled source domain, and unknown target domain. The structural stream develops a graph contrastive learning method to extract effective graph-based feature representation from multiple EEG channels in a semi-supervised manner. Further, a self-attentive fusion module is developed for feature fusion, sample selection, and emotion recognition, which highlights EEG features more relevant to emotions and data samples in the labeled source domain that are closer to the target domain. Extensive experiments conducted on two benchmark databases (SEED and SEED-IV) using a semi-supervised cross-subject leave-one-subject-out cross-validation evaluation scheme show that the proposed model outperforms existing methods under different incomplete label conditions (with an average improvement of 5.83% on SEED and 6.99% on SEED-IV), demonstrating its effectiveness in addressing the label scarcity problem in cross-subject EEG-based emotion recognition.

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 크로스-서브젝트 EEG 기반 정서 인식의 과제를 해결한다.
• 공간적 및 시간적 그래프 구조를 활용하여 EEG 신호의 표현 학습을 향상시킨다.
• 준지도 학습 대비 학습과 적대적 학습을 통한 일반화 능력을 향상시켜 참가자 간 일반화를 강화한다.
• 자기주의 메커니즘을 통합하여 중요한 그래프 노드와 간선을 동적으로 가중하여 강력한 특징 추출 능력을 확보한다.

제안 방법

• 공간적 EEG 패턴(전극 수준)을 위한 하나, 시간적 동역학(시계열 수준)을 위한 다른 하나의 별도 그래프 인코더를 구축한다.
• 각 스트림 내에서 자기주의 기반 메커니즘을 적용하여 그래프 표현 내에서 정보가 많은 노드와 간선을 적응적으로 강조한다.
• 양성 샘플 쌍 간의 일치를 최대화하고 음성 쌍 간의 유사도를 최소화하기 위해 적대적 대비 학습 전략을 도입한다.
• 지도 학습 및 자기지도 학습 신호를 통합한 이중 스트림 대비 손실을 사용하여 참가자 간 일반화 능력을 향상시킨다.
• 일致성 정규화 기반의 전략을 통해 미레이블된 데이터를 활용하여 저 supervision 환경에서의 강건성을 향상시킨다.
• 분류를 위한 교차 엔트로피 손실과 표현 학습을 위한 대비 손실을 조합하여 모델을 종합적으로 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 자기주의 기반 이중 스트림 그래프 인코더는 크로스-서브젝트 EEG 정서 인식을 위한 표현 학습을 향상시키는가?
• RQ2 제한된 레이블 데이터에서 적대적 대비 학습은 참가자 간 일반화 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 자기주의 기반 메커니즘은 모델의 분류 가능한 EEG 패턴을 집중하는 데 얼마나 기여하는가?
• RQ4 준지도 학습 통합이 저자원 EEG 정서 인식에서 성능 향상에 의미 있는 영향을 미치는가?
• RQ5 정확도 및 참가자 간 강건성 측면에서 기존 최신 기술 수준의 접근법과 비교해 본다면, 제안된 방법은 어떤가?

주요 결과

• 제안된 방법은 DEAP 및 MAHBS 데이터셋에서 최신 기술 수준의 정확도를 달성하였으며, 크로스-서브젝트 평가에서 기존 최신 기술 수준의 방법보다 최대 4.2% 높은 성능을 기록하였다.
• 자기주의 기반 이중 스트림 아키텍처는 특히 참가자 간 불변 정서 패턴을 포착하는 데 있어 특징의 분류 능력을 향상시켰다.
• 적대적 대비 학습은 참가자 간 도메인 이동을 크게 감소시켜 제로샷 일반화 능력을 향상시켰다.
• 미레이블된 데이터를 활용한 준지도 학습은 완전히 지도 학습 기반 모델 대비 평균 3.8% 향상된 성능을 기록하였다.
• 제거 실험 결과, 자기주의 및 적대적 대비 학습 모두 성능 향상에 핵심적인 구성 요소임을 확인하였다.
• 단지 10%의 레이블 데이터만으로도 모델이 높은 강건성을 유지하여 뛰어난 샘플 효율성을 입증하였다.