[논문 리뷰] Emotion Analysis on EEG Signal Using Machine Learning and Neural Network

Samiha Ahmed, Eshaan Tanzim Sabur|arXiv (Cornell University)|2023. 07. 09.

EEG and Brain-Computer Interfaces인용 수 7

한 줄 요약

이 연구는 DEAP 데이터셋을 사용하여 EEG 기반 정서 인식을 위한 하이브리드 기계학습 및 딥러닝 접근법을 제안한다. 밴드패스 필터링과 FFT를 통한 특징 추출 후, SVM, KNN 및 LSTM 기반 RNN 모델을 사용한 분류를 수행한다. 1000 에포크 후 RNN 모델이 78.28%의 최고 검증 정확도를 기록하여 정서 상태의 시간적 동적 특성을 효과적으로 포착함을 보여주었다.

ABSTRACT

Emotion has a significant influence on how one thinks and interacts with others. It serves as a link between how a person feels and the actions one takes, or it could be said that it influences one's life decisions on occasion. Since the patterns of emotions and their reflections vary from person to person, their inquiry must be based on approaches that are effective over a wide range of population regions. To extract features and enhance accuracy, emotion recognition using brain waves or EEG signals requires the implementation of efficient signal processing techniques. Various approaches to human-machine interaction technologies have been ongoing for a long time, and in recent years, researchers have had great success in automatically understanding emotion using brain signals. In our research, several emotional states were classified and tested on EEG signals collected from a well-known publicly available dataset, the DEAP Dataset, using SVM (Support Vector Machine), KNN (K-Nearest Neighbor), and an advanced neural network model, RNN (Recurrent Neural Network), trained with LSTM (Long Short Term Memory). The main purpose of this study is to improve ways to improve emotion recognition performance using brain signals. Emotions, on the other hand, can change with time. As a result, the changes in emotion over time are also examined in our research.

연구 동기 및 목표

• 고도화된 신호 처리 및 기계학습 기법을 활용하여 EEG 신호를 통한 정서 인식 정확도를 향상시키기 위해.
• 기존 기계학습 모델(SVM, KNN)과 딥러닝 모델(LSTM-RNN)이 EEG 기반 정서 분류에 미치는 성능을 평가하기 위해.
• 정서 상태의 순차적 변화를 모델링하여 EEG 신호 내 시간적 동적 특성이 정서 인식에 미치는 영향을 조사하기 위해.
• 주파수 대역 분해 및 FFT를 통한 향상된 정서 상태 표현을 위한 특징 추출을 향상시키기 위해.
• 일반화 가능성 확보를 위해 공개된 데이터셋(DEAP)을 활용해 제안된 프레임워크를 검증하기 위해.

제안 방법

• DEAP 데이터셋의 EEG 신호는 관련 주파수 대역(예: 알파, 베타, 감마)을 분리하기 위해 밴드패스 필터링을 사용하여 사전 처리되었다.
• 시간 도메인 신호를 주파수 도메인 표현으로 변환하기 위해 빠른 푸리에 변환(FFT)을 사용한 특징 추출이 수행되었다.
• 정서 분류의 전통적 기계학습 분류기로 지원벡터머신(SVM)과 K-최근접이웃(KNN)이 사용되었으며, 정서의 밸런스와 각성도 분류에 적용되었다.
• 재귀 신경망(RNN) 기반의 딥러닝 모델이 EEG 신호 내 시간적 의존성을 모델링하기 위해 훈련되었다.
• LSTM 모델은 은닉층에서 ReLU 활성화 함수와 출력층에서 시그모이드 활성화 함수를 사용하여 이진 분류를 위한 정서 상태 분류를 수행하였다.
• 훈련 과정에서는 배치 정규화, 드롭아웃(레이트: 30%, 50%, 30%, 30%, 30%, 20%), RMSprop 옵timizer(초기 학습률: 0.001), 그리고 손실 함수로 평균제곱오차(MSE)를 사용하였다.

Figure 1: Time Domain of the EEG Signals

실험 결과

연구 질문

• RQ1 기계학습 및 딥러닝 모델이 EEG 신호에서 정서 상태(밸런스와 각성도)를 효과적으로 분류할 수 있는가?
• RQ2 LSTM를 통한 시간 모델링이 SVM 및 KNN와 같은 정적 분류기와 비교해 정서 인식 정확도를 어떻게 향상시키는가?
• RQ3 FFT 기반 주파수 도메인 특징 추출이 정서 인식 시스템의 성능에 미치는 영향은 무엇인가?
• RQ4 밴드패스 필터링 및 FFT와 같은 다양한 신호 처리 기법이 EEG 데이터 내 정서 상태 표현에 미치는 영향는 어떠한가?
• RQ5 정교한 수동 특징 엔지니어링 없이도, 딥러닝 모델이 원시 EEG 데이터를 사용할 때 다양한 피험자 간에 얼마나 잘 일반화되는가?

주요 결과

• LSTM 기반 RNN 모델은 1000 에포크 훈련 후 최고의 검증 정확도 78.28%를 기록하여 SVM 및 KNN를 초월하였다.
• 1000 에포크 동안 훈련 정확도는 9.61%에서 69.21%로, 검증 정확도는 53.42%에서 78.28%로 증가하여 안정적인 학습 진행을 보였다.
• 첫 150 에포크 동안 검증 손실이 0.06851에서 0.04787로 감소하여 효과적인 모델 수렴을 나타냈다.
• 배치 정규화 및 드롭아웃의 사용이 과적합을 크게 줄이고 훈련 단계 전반에 걸쳐 일반화 성능을 향상시켰다.
• 평균제곱오차(MSE) 손실 함수가 큰 예측 오차를 효과적으로 처벌하여 안정적인 최적화를 기여하였다.
• 모델 성능은 시간이 지남에 따라 점진적으로 향상되었으며, 200 에포크 이후로는 성능 향상 속도가 둔화되어 후기 훈련 단계에서 수익 감소 현상을 보였다.

Figure 2: Power Spectral Density Across Channels