[논문 리뷰] Identifying Stable Patterns over Time for Emotion Recognition from EEG

Wei‐Long Zheng, Jiayi Zhu외 1명|arXiv (Cornell University)|2016. 01. 10.

EEG and Brain-Computer Interfaces참고 문헌 46인용 수 55

한 줄 요약

이 연구는 기계학습을 활용하여 정서 인식을 위한 시간에 따라 안정된 뇌전도 패턴을 규명하며, 긍정적, 중립적, 부정적 정서에 대해 일관된 신경 서명을 입증한다. 새로운 공개 EEG 데이터셋(SEED)과 DEAP 데이터셋을 사용하여, 베타/감마 대역(측측두부), 아스트로이드 대역( parieta/occipital), 델타/감마 대역(전두엽)에서의 분류 패턴이 세션 내 및 세션 간에 안정적이며, GELM를 사용해 SEED에서 91.07%의 정확도와 세션 간 정확도 79.28%를 달성한다.

ABSTRACT

In this paper, we investigate stable patterns of electroencephalogram (EEG) over time for emotion recognition using a machine learning approach. Up to now, various findings of activated patterns associated with different emotions have been reported. However, their stability over time has not been fully investigated yet. In this paper, we focus on identifying EEG stability in emotion recognition. To validate the efficiency of the machine learning algorithms used in this study, we systematically evaluate the performance of various popular feature extraction, feature selection, feature smoothing and pattern classification methods with the DEAP dataset and a newly developed dataset for this study. The experimental results indicate that stable patterns exhibit consistency across sessions; the lateral temporal areas activate more for positive emotion than negative one in beta and gamma bands; the neural patterns of neutral emotion have higher alpha responses at parietal and occipital sites; and for negative emotion, the neural patterns have significant higher delta responses at parietal and occipital sites and higher gamma responses at prefrontal sites. The performance of our emotion recognition system shows that the neural patterns are relatively stable within and between sessions.

연구 동기 및 목표

• 다양한 정서 상태와 관련된 EEG 패턴의 시간적 안정성을 반복 세션 간에 조사한다.
• 시간에 따른 정서 인식 안정성 연구를 위한 새로운 공개 EEG 데이터셋(SEED)을 개발한다.
• 정서 인식을 위한 특징 추출, 선택, 스무딩 및 분류 방법을 체계적으로 평가한다.
• 기계학습 모델의 성능과 강인성을 주관람자 독립 및 세션 간 정서 인식 설정에서 평가한다.
• 특히 긍정적, 중립적, 부정적 정서와 관련된 빈도 대역 및 뇌 영역에서 일관된 신경 서명을 규명한다.

제안 방법

• 45명의 참가자로부터 음악 자극을 활용한 정서 유도에 중점을 두고 새로운 EEG 데이터셋(SEED)을 수집하고, 안정성 분석을 위해 공개하였다.
• 다섯 개의 빈도 대역에서 EEG 신호로부터 정서 관련 신경 패턴을 추출하기 위해 시간-주파수 분석(차별 엔트로피 특징)을 적용하였다.
• 분류 능력과 모델 안정성을 향상시키기 위해 주로 그래프 정규화를 적용한 극한 학습 기반 기계학습 모델(GELM)을 사용하였다.
• 모델 일반화 및 시간적 일관성 평가를 위해 5겹 교차검증을 활용해 세션 간 및 주관람자 독립 평가를 수행하였다.
• 노이즈를 감소시키고 세션 및 참가자 간 모델 강인성을 향상시키기 위해 특징 선택 및 스무딩 기법을 사용하였다.
• DEAP 및 SEED 데이터셋에서 특징 추출, 선택, 스무딩 및 분류 방법의 다양한 조합을 비교하였다.

실험 결과

연구 질문

• RQ1 동일한 개인에서 반복 세션 간 특정 정서와 관련된 EEG 패턴이 안정적으로 유지되는가?
• RQ2 긍정적, 중립적, 부정적 정서에 대해 일관된 신경 활동 패턴을 보이는 뇌 영역과 빈도 대역은 어디인가?
• RQ3 주관람자 의존성과 주관람자 독립성 설정 간 정서 인식 모델의 성능은 어떻게 달라지는가?
• RQ4 여러 세션 또는 참가자 데이터에서 학습된 단일 모델이 새로운, 볼 수 없는 세션 또는 참가자에게 효과적으로 일반화될 수 있는가?
• RQ5 시간에 따라 안정적인 정서 인식을 위해 가장 분류 능력이 뛰어난 EEG 특징과 기계학습 방법은 무엇인가?

주요 결과

• 긍정적 정서의 경우, 부정적 정서보다 베타 및 감마 대역에서 측측두부 영역에서 더 높은 활성화가 관찰되었다.
• 중립적 정서는 편측 및 후두부 부위에서 증가한 아스트로이드 파wer를 보이며, 별도의 신경 서명을 형성한다.
• 부정적 정서는 편측 및 후두부 영역에서 뚜렷한 델타 파워 증가와 전두엽 영역에서 상승한 감마 활동을 보였다.
• 제안된 GELM 기반 모델은 5겹 교차검증을 사용해 SEED 데이터셋에서 평균 분류 정확도 91.07%를 달성하여 높은 신뢰성을 입증하였다.
• 세션 간 정서 인식 성능은 79.28%의 정확도를 기록하여, 확인된 EEG 패턴의 시간적 안정성을 확인하였다.
• 일인을 제외한 유형의 주관람자 독립 분류에서는 60.93%의 정확도와 표준편차 13.95%를 기록하여, 개인 간 변동성에도 불구하고 중간 정도의 일반화 능력을 보였다.