[논문 리뷰] Self-supervised Group Meiosis Contrastive Learning for EEG-Based Emotion Recognition

Haoning Kan, Jiale Yu외 3명|arXiv (Cornell University)|2022. 07. 12.

EEG and Brain-Computer Interfaces인용 수 6

한 줄 요약

이 논문은 자가지도 학습 기반의 그룹 미세분열 대비 학습(SGMC) 프레임워크를 제안하여, 동일한 자극에 대한 그룹 EEG 샘플 간 일관성을 활용해 EEG 기반 정서 인식을 수행한다. 새로운 미세분열 유사 데이터 증강 방법과 공유 표현을 학습하기 위한 그룹 프로젝터를 도입함으로써, 라벨이 제한된 조건에서도 DEAP 데이터셋에서 정성과 자극성에 대해 각각 94.72% 및 95.68%의 최신 기술 수준(SOTA) 정확도를 달성한다.

ABSTRACT

The progress of EEG-based emotion recognition has received widespread attention from the fields of human-machine interactions and cognitive science in recent years. However, how to recognize emotions with limited labels has become a new research and application bottleneck. To address the issue, this paper proposes a Self-supervised Group Meiosis Contrastive learning framework (SGMC) based on the stimuli consistent EEG signals in human being. In the SGMC, a novel genetics-inspired data augmentation method, named Meiosis, is developed. It takes advantage of the alignment of stimuli among the EEG samples in a group for generating augmented groups by pairing, cross exchanging, and separating. And the model adopts a group projector to extract group-level feature representations from group EEG samples triggered by the same emotion video stimuli. Then contrastive learning is employed to maximize the similarity of group-level representations of augmented groups with the same stimuli. The SGMC achieves the state-of-the-art emotion recognition results on the publicly available DEAP dataset with an accuracy of 94.72% and 95.68% in valence and arousal dimensions, and also reaches competitive performance on the public SEED dataset with an accuracy of 94.04%. It is worthy of noting that the SGMC shows significant performance even when using limited labels. Moreover, the results of feature visualization suggest that the model might have learned video-level emotion-related feature representations to improve emotion recognition. And the effects of group size are further evaluated in the hyper parametric analysis. Finally, a control experiment and ablation study are carried out to examine the rationality of architecture. The code is provided publicly online.

연구 동기 및 목표

• 정서 인식에서 라벨이 제한된 EEG 데이터 문제를 자가지도 학습을 활용해 해결하고자 한다.
• 수동 라벨에 의존하지 않고도, 다수의 주체에서 온 EEG 샘플 간 자극 일관성을 활용해 대비 학습을 이끌어내고자 한다.
• 생물학적 미세분열에서 영감을 얻은 새로운 데이터 증강 방법을 개발하여 자극 관련 특징을 유지하고자 한다.
• 전용 그룹 프로젝터와 대비 손실를 통해 그룹 수준의 표현 학습을 향상시키고자 한다.
• 공개된 EEG 정서 데이터셋인 DEAP 및 SEED에서 프레임워크의 강건성과 일반화 능력을 검증하고자 한다.

제안 방법

• 동일한 자극 그룹에서 온 EEG 샘플을 쌍으로 만들고, 교환하며 분리하여 증강된 그룹을 생성하는 유전학 기반의 데이터 증강 기법인 Meiosis를 도입한다.
• 동일한 정서 영상에 의해 유도된 다수의 EEG 샘플에서 공유되는 고수준 표현을 추출하기 위해 그룹 프로젝터를 활용한다.
• 동일한 자극을 가진 증강된 그룹 간의 그룹 수준 표현 유사도를 최대화함으로써 대비 학습을 수행한다.
• 자극 일관성을 기반으로 양성-음성 쌍을 설계하여 모델이 정서 관련 특징을 학습하도록 이끈다.
• 안정적인 훈련과 증강된 시각 간 표현 불변성을 확보하기 위해 대칭 손실 함수를 적용한다.
• 자기지도 대비 학습을 통한 사전 훈련과 제한된 라벨을 활용한 미세조정을 수행하는 두 단계 파이프라인으로 기본 인코더와 그룹 프로젝터를 훈련한다.

Figure 1: Illustration of the proposed SGMC. During the process of pre-training, each group of samples is sampled from EEG samples corresponding to the same video clip stimuli. Then each group of EEG samples is augmented by genetics inspired Meiosis data augmentation to generate two augmented group

실험 결과

연구 질문

• RQ1 다양한 주체의 EEG 샘플 간 자극 일관성을 효과적으로 활용하여 자가지도 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 기본적인 증강 기법인 Mixup과 비교할 때 제안된 Meiosis 증강 방법은 정서 관련 특징을 얼마나 잘 유지하는가?
• RQ3 대비 EEG 정서 인식에서 그룹 수준 표현 학습과 개별 샘플 학습 간 기여도는 각각 어느 정도인가?
• RQ4 낮은 라벨 레지임에서 프레임워크는 어떻게 성능을 내며, 완전히 지도 학습 기반 기준보다 뛰어난가?
• RQ5 특징 시각화 결과에 따르면, 모델이 영상 수준의 정서 표현을 얼마나 잘 학습하는가?

주요 결과

• SGMC는 DEAP 데이터셋에서 정성에 대해 94.72%의 정확도, 자극성에 대해 95.68%의 정확도를 기록하여 완전히 지도 학습 기반 기준을 초월하는 최신 기술 수준의 성능을 달성한다.
• SEED 데이터셋에서는 94.04%의 정확도를 기록하여, 라벨이 제한된 조건에서도 경쟁 가능한 성능을 보여준다.
• 제거 실험 결과, Meiosis 증강을 제거할 경우 DEAP에서 정확도가 3% 이상, SEED에서 1.2% 이상 감소하여 그 중요성을 확인한다.
• 그룹 수준 학습을 제거한 Non-group 버전은 두 데이터셋 모두에서 1.5% 이상 성능 저하를 보이며, 그룹 표현의 중요성을 입증한다.
• 그룹 샘플이나 Meiosis를 제거한 Consistent-only 버전은 DEAP에서 완전히 지도 학습 기준보다 1.7% 높고, SEED에서는 0.6% 높은 성능을 기록하여 자극 일관성이 활용 가능함을 시사한다.
• 특징 시각화 결과, 모델이 영상 수준의 정서 관련 표현을 학습하고 있음을 확인하여, 다양한 주체 간 일반화 능력을 지닌다는 것을 뒷받침한다.

Figure 2: The illustration of sampling for a minibatch. Sampler first samples $P$ video clip and $2Q$ subjects. For each sampled video clip, next the sampler samples a group of EEG signals recorded when sampled $2Q$ subject watched it. Then $P$ groups of EEG samples are obtained for a minibatch.