[논문 리뷰] GANSER: A Self-supervised Data Augmentation Framework for EEG-based Emotion Recognition

Zhi Zhang, Sheng-hua Zhong외 1명|arXiv (Cornell University)|2021. 09. 07.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

이 논문은 자기지도 학습 기반 생성 적대적 네트워크 프레임워크인 GANSER를 제안한다. 이는 적대적 훈련과 마스킹 기반 데이터 증강을 통해 고품질이고 다양한 합성 EEG 샘플을 생성함으로써 EEG 기반 정서 인식 성능을 향상시킨다. 적대적 생성과 다중 요인 자기지도 학습을 결합함으로써 GANSER는 DREAMER 데이터셋에서 최신 기술 수준의 성능을 달성하여 정성 분류 정확도를 85.28%로, 자극성 분류 정확도를 84.16%로 향상시켰다.

ABSTRACT

The data scarcity problem in Electroencephalography (EEG) based affective computing results into difficulty in building an effective model with high accuracy and stability using machine learning algorithms especially deep learning models. Data augmentation has recently achieved considerable performance improvement for deep learning models: increased accuracy, stability, and reduced over-fitting. In this paper, we propose a novel data augmentation framework, namely Generative Adversarial Network-based Self-supervised Data Augmentation (GANSER). As the first to combine adversarial training with self-supervised learning for EEG-based emotion recognition, the proposed framework can generate high-quality and high-diversity simulated EEG samples. In particular, we utilize adversarial training to learn an EEG generator and force the generated EEG signals to approximate the distribution of real samples, ensuring the quality of augmented samples. A transformation function is employed to mask parts of EEG signals and force the generator to synthesize potential EEG signals based on the remaining parts, to produce a wide variety of samples. The masking possibility during transformation is introduced as prior knowledge to guide to extract distinguishable features for simulated EEG signals and generalize the classifier to the augmented sample space. Finally, extensive experiments demonstrate our proposed method can help emotion recognition for performance gain and achieve state-of-the-art results.

연구 동기 및 목표

• EEG 기반 정서 인식에서의 데이터 부족 문제를 해결함으로써 모델의 정확도와 일반화 능력을 향상시키기 위해.
• 딥 러닝 모델 성능 향상을 위해 고품질이고 다양한 합성 EEG 신호를 생성하는 데이터 증강 프레임워크를 개발하기 위해.
• 저데이터 환경에서 더 나은 특징 표현을 위해 적대적 훈련과 자기지도 학습을 통합하기 위해.
• 마스킹 연산을 사전 지식으로 활용하여 증강된 EEG 샘플의 특징 학습을 이끌기 위해.
• DEAP 및 DREAMER와 같은 벤치마크 EEG 정서 인식 데이터셋에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 프레임워크는 합성 EEG 신호를 생성하는 적대적 증강 네트워크(AAN)와 분류자 훈련을 위한 다중 요인 훈련 네트워크(MTN)로 구성된다.
• AAN은 실제 EEG 신호의 일부를 무작위로 마스킹하는 변환을 사용하여, GAN 생성자에게 부재한 세그먼트를 합리적으로 재구성하도록 유도한다.
• 생성자는 스페이스-타임 EEG 특징을 효과적으로 모델링하기 위해 채널 마스킹과 STNet를 활용한 UNet 아키텍처를 사용한다.
• 적대적 훈련을 통해 생성된 EEG 신호가 실제 EEG 데이터의 분포에 가까워지도록 보장함으로써 샘플 품질을 향상시킨다.
• MTN의 다중 요인 자기지도 학습 손실은 마스킹 확률을 사전 지식으로 사용하여 증강된 샘플에서의 특징 학습을 이끈다.
• 프레임워크는 실제 및 생성된 샘플을 모두 사용하여 정서 분류자를 미세조정함으로써 증강된 데이터 공간 전반에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 적대적 훈련과 자기지도 학습을 조합하면 데이터 증강을 위한 합성 EEG 신호의 품질과 다양성이 향상되는가?
• RQ2 마스킹 확률의 사전 지식을 활용한 마스킹 기반 데이터 증강이 EEG 기반 정서 인식에서 특징 학습을 어떻게 향상시키는가?
• RQ3 제안된 GANSER 프레임워크는 DEAP 및 DREAMER와 같은 벤치마크 EEG 정서 인식 데이터셋에서 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ4 EEG 기반 정서 컴퓨팅에서 흔한 저데이터 환경에서 프레임워크가 과적합을 얼마나 효과적으로 완화하는가?
• RQ5 UNet과 STNet를 통한 시공간 모델링 통합이 생성된 EEG 신호의 현실성 향상에 어떻게 기여하는가?

주요 결과

• GANSER는 DREAMER 데이터셋에서 정성 분류 정확도 85.28%를 달성하여 비교된 모든 최신 기술 수준의 방법들을 능가한다.
• 프레임워크는 자극성 분류 정확도 84.16%를 기록하여 두 정서 차원 모두에서 뛰어난 성능를 보였다.
• 적대적 및 자기지도 학습을 통해 생성된 합성 EEG 샘플을 효과적으로 활용함으로써 모델의 일반화 능력이 크게 향상되었다.
• 자기지도 학습 손실에 마스킹 확률을 사전 지식으로 활용함으로써 증강된 데이터에서 학습된 특징의 구분 능력이 향상되었다.
• 프레임워크는 DEAP 및 DREAMER 데이터셋 모두에서 뛰어난 성능를 보이며, 다양한 EEG 정서 인식 벤치마크에 대한 일반화 능력을 확인했다.
• 결과는 GAN 기반 생성과 자기지도 학습을 융합한 전략이 저데이터 EEG 응용 분야에서의 데이터 증강에 매우 효과적이라는 것을 확인했다.