[논문 리뷰] Data Augmentation for Enhancing EEG-based Emotion Recognition with Deep Generative Models

Yun Luo, Lizhen Zhu외 2명|arXiv (Cornell University)|2020. 06. 04.

EEG and Brain-Computer Interfaces참고 문헌 65인용 수 4

한 줄 요약

이 논문은 전자화학적 뇌파 기반 정서 인식에서의 데이터 증강을 위해 깊이 있는 생성 모델 세 종류—cWGAN, sVAE, sWGAN—을 제안한다. 변분 오토인코더와 생성적 적대적 네트워크를 사용하여 현실적인 파wer 스펙트럼 밀도 및 차분 엔트로피 특징을 생성한다. 고품질의 합성 샘플로 훈련 데이터를 증강함으로써 SEED 데이터셋에서 최대 10.2% 향상되고 DEAP 데이터셋에서 최대 5.4% 향상되며, 선택적 생성 전략이 전체 증강 전략보다 성능이 뛰어나다.

ABSTRACT

The data scarcity problem in emotion recognition from electroencephalography (EEG) leads to difficulty in building an affective model with high accuracy using machine learning algorithms or deep neural networks. Inspired by emerging deep generative models, we propose three methods for augmenting EEG training data to enhance the performance of emotion recognition models. Our proposed methods are based on two deep generative models, variational autoencoder (VAE) and generative adversarial network (GAN), and two data augmentation strategies. For the full usage strategy, all of the generated data are augmented to the training dataset without judging the quality of the generated data, while for partial usage, only high-quality data are selected and appended to the training dataset. These three methods are called conditional Wasserstein GAN (cWGAN), selective VAE (sVAE), and selective WGAN (sWGAN). To evaluate the effectiveness of these methods, we perform a systematic experimental study on two public EEG datasets for emotion recognition, namely, SEED and DEAP. We first generate realistic-like EEG training data in two forms: power spectral density and differential entropy. Then, we augment the original training datasets with a different number of generated realistic-like EEG data. Finally, we train support vector machines and deep neural networks with shortcut layers to build affective models using the original and augmented training datasets. The experimental results demonstrate that the augmented training datasets produced by our methods enhance the performance of EEG-based emotion recognition models and outperform the existing data augmentation methods such as conditional VAE, Gaussian noise, and rotational data augmentation.

연구 동기 및 목표

• 제한된 레이블이 부여된 데이터셋으로 인해 딥 러닝 성능에 악영향을 미치는 EEG 기반 정서 인식에서의 데이터 부족 문제를 해결한다.
• 기존 훈련 데이터를 증강하기 위해 현실적이고 고품질의 EEG 특징을 생성할 수 있는 딥 러닝 생성 모델을 개발한다.
• 훈련 데이터의 다양성과 분포 커버리지 향상으로 정서 인식 모델의 강건성과 정확도를 향상시킨다.
• 생성 샘플 수의 변화가 모델 성능에 미치는 영향을 조사하여 최적의 증강 임계값을 규명한다.
• VAE 및 GAN 기반 생성 모델을 사용한 전체 증강 대비 선택적 증강 전략의 효과성을 비교한다.

제안 방법

• 감정 레이블에 조건부로 설정된 워셔스타인 GAN(cWGAN)을 사용하여 감정 유형에 맞는 데이터를 합성한다.
• 선택적 VAE(sVAE)를 구현하여 재구성 오차 또는 분류기 신뢰도 기반으로 높은 품질의 출력만 필터링한다.
• 품질 판별기와 함께 선택적 WGAN(sWGAN)을 사용하여 훈련 증강을 위해 현실적으로 보이는 EEG 특징만 선택한다.
• EEG 특징 두 가지 유형—파워 스펙트럼 밀도(PSD)와 차분 엔트로피(DE)—를 생성한다. 이는 EEG 분석에서 표준적인 표현 방식이다.
• 전체(모든 생성된 데이터) 및 부분(고품질 데이터만) 전략을 사용하여 원본 훈련 세트에 생성 샘플을 증강한다.
• SVM 및 숏컷 연결을 가진 딥 네URAL 네트워크를 사용하여 원본 및 증강된 데이터 세트에서 정서 인식 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델이 정서 인식에서 데이터 부족 문제를 완화하기 위해 현실적인 EEG 특징을 효과적으로 합성할 수 있는가?
• RQ2 모든 생성 데이터를 사용하는 전체 증강 전략과 고품질 샘플만 사용하는 선택적 증강 전략 간의 정확도 향상 정도는 어떻게 비교되는가?
• RQ3 성능 저하가 노이즈 또는 저품질 데이터로 인해 발생하기 시작하는 최적의 생성 샘플 수는 얼마인가?
• RQ4 VAE와 GAN 기반의 다양한 생성 모델이 EEG 데이터 증강에서 정확도, 안정성, 훈련 시간 측면에서 어떻게 성능을 내는가?
• RQ5 합성 EEG 데이터의 포함 여부가 다양한 데이터셋과 분류기에서 정서 인식 모델의 일반화 능력과 강건성 향상에 기여하는가?

주요 결과

• 제안된 방법들은 기준 모델 대비 SEED 데이터셋에서 최대 10.2% 향상되고 DEAP 데이터셋에서 최대 5.4% 향상되는 정확도 향상을 보였다.
• 선택적 WGAN(sWGAN)이 모든 방법 중에서 가장 높은 분류 성능를 기록했으며, sVAE 및 cWGAN를 모두 초월했다.
• 원본 훈련 세트 크기의 10배 이상의 생성 샘플을 추가할 경우 성능 저하가 발생했으며, 이는 노이즈로 인한 정확도 저하가 발생하는 임계점을 시사한다.
• sVAE는 GAN 기반 방법들에 비해 더 뛰어난 훈련 안정성을 보였으며, 모드 붕괴와 같은 적대적 훈련의 불안정성 문제 없이 작동했다.
• cWGAN는 품질 필터링 없이 모든 생성 샘플을 사용함으로써 가장 빠른 수렴 속도를 보였지만, 저품질 데이터 포함으로 인해 정확도가 낮았다.
• 고품질 샘플을 사용할 경우 생성된 데이터가 데이터 다양성을 확장하고 결정 경계를 더 잘 만드는 데 기여하여 모델의 일반화 능력 향상에 기여했다.