[논문 리뷰] EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition

Rushuang Zhou, Weishan Ye외 8명|arXiv (Cornell University)|2023. 03. 27.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 레이블 부족 조건 하에서 교차 피실험자 EEG 기반 정서 인식을 위한 준지도학습 프레임워크인 EEGMatch를 제안한다. EEG-Mixup 데이터 증강, 이중 단계 쌍별 학습 전략(프로토타입 기반 및 인스턴스 기반), 다중 도메인 적응을 통합하여 레이블이 있는 소스 도메인, 레이블이 없는 소스 도메인, 타겟 도메인 간의 분포를 정렬함으로써, 레이블이 불완전한 조건에서 SEED와 SEED-IV에서 각각 6.89% 및 1.44%의 정확도 향상을 달성한다.

ABSTRACT

Electroencephalography (EEG) is an objective tool for emotion recognition and shows promising performance. However, the label scarcity problem is a main challenge in this field, which limits the wide application of EEG-based emotion recognition. In this paper, we propose a novel semi-supervised learning framework (EEGMatch) to leverage both labeled and unlabeled EEG data. First, an EEG-Mixup based data augmentation method is developed to generate more valid samples for model learning. Second, a semi-supervised two-step pairwise learning method is proposed to bridge prototype-wise and instance-wise pairwise learning, where the prototype-wise pairwise learning measures the global relationship between EEG data and the prototypical representation of each emotion class and the instance-wise pairwise learning captures the local intrinsic relationship among EEG data. Third, a semi-supervised multi-domain adaptation is introduced to align the data representation among multiple domains (labeled source domain, unlabeled source domain, and target domain), where the distribution mismatch is alleviated. Extensive experiments are conducted on two benchmark databases (SEED and SEED-IV) under a cross-subject leave-one-subject-out cross-validation evaluation protocol. The results show the proposed EEGmatch performs better than the state-of-the-art methods under different incomplete label conditions (with 6.89% improvement on SEED and 1.44% improvement on SEED-IV), which demonstrates the effectiveness of the proposed EEGMatch in dealing with the label scarcity problem in emotion recognition using EEG signals. The source code is available at https://github.com/KAZABANA/EEGMatch.

연구 동기 및 목표

• 고비용이며 고도로 시간이 소요되는 고품질의 레이블이 부여된 EEG 데이터 수집 문제를 해결하기 위해 EEG 기반 정서 인식에서의 레이블 부족 문제를 다루는 것.
• 기존 준지도학습 방법의 한계를 극복하기 위해 비정상적인 EEG 신호에 적합하지 않은 데이터 증강 기법과 불완전한 레이블 조건 하에서의 비효율적 학습 문제를 해결하는 것.
• 교차 피실험자 정서 인식에서 레이블이 있는 소스 도메인과 레이블이 없는 소스 도메인 간의 분포 이탈, 그리고 소스 도메인과 타겟 도메인 간의 분포 이탈 문제를 완화하는 것.
• 레이블이 있는 데이터와 레이블이 없는 EEG 데이터를 효과적으로 통합하여, 새로운 피실험자에 대해 일반화 능력과 성능을 향상시키는 통합 프레임워크를 개발하는 것.

제안 방법

• EEG 신호에 특화된 데이터 증강 방법인 EEG-Mixup을 제안하여, 비정상적인 EEG 특성에 맞게 시도 간 특징을 혼합함으로써 현실적인 합성 샘플을 생성한다.
• 이중 단계 쌍별 학습 프레임워크를 도입한다: 첫 번째로 프로토타입 기반 학습은 EEG 샘플과 클래스 프로토타입 간의 전반적인 관계를 측정하고, 두 번째로 인스턴스 기반 학습은 샘플 간의 국소적 내재 관계를 포착한다.
• 레이블이 있는 소스, 레이블이 없는 소스, 타겟 도메인의 세 도메인 간 특징 표현을 정렬하기 위해 준지도학습 기반의 다중 도메인 적응 전략을 적용하여 분포 이탈을 감소시킨다.
• 비정상적인 데이터에 대한 의사 레이블을 생성하기 위해 샤프닝 함수를 사용하여 모델이 훈련 중에 스스로를 지도하고 예측을 개선할 수 있도록 한다.
• 모델 행동을 해석하기 위해 상호정보 분석을 통합하여, 정서 인식에 가장 유용한 EEG 주파수 대역(베타 및 감마)과 뇌 영역(파리에토-옥시피탈 영역)을 식별한다.
• 실제 세계의 구현 시나리오를 시뮬레이션하기 위해 SEED 및 SEED-IV 데이터셋에 대해 교차 피실험자 이탈-한 명의 피실험자 제외 평가 프로토콜을 적용한다.

실험 결과

연구 질문

• RQ1 EEG 신호의 비정상성 특성을 고려하여 데이터 증강을 어떻게 향상시킬 수 있으며, 이는 레이블이 제한된 조건에서 모델 일반화 능력을 향상시키는 데 어떻게 기여하는가?
• RQ2 프로토타입 기반 및 인스턴스 기반 학습을 조합한 이중 단계 쌍별 학습 프레임워크가 준지도학습 EEG 기반 정서 인식의 표현 학습을 어떻게 향상시킬 수 있는가?
• RQ3 레이블이 있는 소스, 레이블이 없는 소스, 타겟 도메인 간의 공동 다중 도메인 적응이 분포 이탈을 얼마나 줄이고 교차 피실험자 성능을 향상시킬 수 있는가?
• RQ4 다양한 수준의 레이블 부족 조건 하에서 제안된 EEGMatch 프레임워크는 최신 기술 대비 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 레이블이 불완전한 조건에서 SEED 데이터셋에서 기존 최고 성능 기술 대비 EEGMatch는 6.89%의 정확도 향상을 달성하여, 레이블이 제한된 조건에서 뛰어난 성능을 보임을 입증한다.
• SEED-IV 데이터셋에서는 기존 방법 대비 1.44%의 정확도 향상을 기록하여, 다양한 벤치마크 데이터셋에서의 효과성을 확인한다.
• 제안된 EEG-Mixup 증강 방법은 훈련 샘플의 다양성을 효과적으로 증가시키고, 특히 레이블 데이터가 부족한 경우 과적합을 줄이는 데 기여한다.
• 상호정보 분석 결과, 정서 인식에 가장 정보가 많은 EEG 주파수 대역은 베타 및 감마 대역이며, 뇌 영역은 파리에토-옥시피탈 영역임을 규명하여 기존 신경생리학적 발견과 일치한다.
• 준지도학습 기반 다중 도메인 적응 전략은 도메인 이탈을 크게 감소시켜, 교차 피실험자 평가에서 새로운 피실험자에 대한 모델 일반화 능력을 향상시킨다.
• 이중 단계 쌍별 학습 프레임워크는 전반적인 클래스 수준 패턴과 국소적 샘플 수준 관계를 동시에 포착함으로써 특징 표현을 향상시킨다.