[논문 리뷰] Real-time EEG-based Emotion Recognition using Discrete Wavelet Transforms on Full and Reduced Channel Signals

Josef Bajada, Francesco Borg Bonello|arXiv (Cornell University)|2021. 10. 11.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 전기encephalography(EEG) 기반 실시간 정서 인식 시스템을 제안하며, 32채널 전체 데이터와 감소된 5채널 EEG 데이터에서 이산 웨이블릿 변환(DWT) 특징을 사용하고, 정상화를 위한 백그라운드 제거 전처리를 적용하여 정확도를 향상시켰다. 서포트 벡터 머신(SVM) 분류기는 주관적 설정에서 Valence에 대해 95.32%, Arousal에 대해 95.68%의 정확도를 기록하여 이전의 실시간 기준을 초월했으며, 5채널 데이터에서도 92%의 정확도를 유지하여 저비용 소비자용 EEG 장치에의 실현 가능성을 입증했다.

ABSTRACT

Real-time EEG-based Emotion Recognition (EEG-ER) with consumer-grade EEG devices involves classification of emotions using a reduced number of channels. These devices typically provide only four or five channels, unlike the high number of channels (32 or more) typically used in most current state-of-the-art research. In this work we propose to use Discrete Wavelet Transforms (DWT) to extract time-frequency domain features, and we use time-windows of a few seconds to perform EEG-ER classification. This technique can be used in real-time, as opposed to post-hoc on the full session data. We also apply baseline removal preprocessing, developed in prior research, to our proposed DWT Entropy and Energy features, which improves classification accuracy significantly. We consider two different classifier architectures, a 3D Convolutional Neural Network (3D CNN) and a Support Vector Machine (SVM). We evaluate both models on subject-independent and subject dependent setups to classify the Valence and Arousal dimensions of an individual's emotional state. We test them on both the full 32-channel data provided by the DEAP dataset, and also a reduced 5-channel extract of the same dataset. The SVM model performs best on all the presented scenarios, achieving an accuracy of 95.32% on Valence and 95.68% on Arousal for the full 32-channel subject-dependent case, beating prior real-time EEG-ER subject-dependent benchmarks. On the subject-independent case an accuracy of 80.70% on Valence and 81.41% on Arousal was also obtained. Reducing the input data to 5 channels only degrades the accuracy by an average of 3.54% across all scenarios, making this model appropriate for use with more accessible low-end EEG devices.

연구 동기 및 목표

• 저비용, 소비자용 EEG 장치에 적합한 실시간 EEG 기반 정서 인식 시스템을 개발하는 것.
• 32채널 및 5채널 EEG 데이터에서 이산 웨이블릿 변환(DWT) 특징과 함께 백그라운드 제거 전처리를 통합하여 분류 정확도를 향상시키는 것.
• Valence 및 Arousal 분류에 대해 주관적 및 비주관적 설정에서 두 분류기 아키텍처(SVM 및 3D CNN)를 평가하고 비교하는 것.
• 32채널에서 5채널으로 감소시켜도 높은 정확도를 유지할 수 있음을 입증하여 접근 가능한 EEG 하드웨어에의 실용적 구현 가능성을 보여주는 것.

제안 방법

• 이산 웨이블릿 변환(DWT)을 사용하여 EEG 신호에서 시간-주파수 도메인 특징을 추출하며, 정서 인식에 최적화된 디아브체스 웨이블릿과 분해 수준을 적용한다.
• DWT 유도 특징(엔트로피 및 에너지)에 대해 백그라운드 제거 전처리를 적용하여 각 주체의 활성 상태를 그들의 휴식 상태에 상대적으로 정규화함으로써 특징의 구분 능력을 향상시킨다.
• 3D 컨volutional 신경망(3D CNN)은 DWT 엔트로피 및 통합된 DWT 엔트로피 + 에너지 특징에서 학습되며, 비교를 위해 RBF 커널을 사용한 SVM이 사용된다.
• 실시간 분류를 가능하게 하기 위해 EEG 데이터에 시간 윈도우 적용을 2~4초 간격으로 시행하여 전체 세션의 후행 처리를 방지한다.
• 연쇄형 SVM 모델을 제안하며, 한 정서 차원(예: Arousal)의 출력을 다른 차원(예: Valence) 예측에 입력으로 사용하여 조건부 의존성을 활용한다.
• 모델은 DEAP 데이터셋을 사용하여 32채널 및 5채널 하위집합에서 평가되며, 주관적 및 비주관적 설정에서 성능을 측정한다.

실험 결과

연구 질문

• RQ1 이산 웨이블릿 변환(DWT) 특징과 함께 백그라운드 제거 전처리가 저채널 EEG 데이터에서 실시간 EEG 기반 정서 인식 정확도를 향상시킬 수 있는가?
• RQ2 32채널에서 5채널로 감소시킬 경우 모델 성능은 얼마나 떨어지며, 여전히 높은 정확도를 달성할 수 있는가?
• RQ3 DWT 특징을 사용한 주관적 및 비주관적 정서 인식 작업에서 SVM 분류기가 3D CNN보다 우수한 성능을 보일 수 있는가?
• RQ4 Valence 및 Arousal 차원 간 조건부 예측을 사용하는 연쇄형 SVM 모델이 전체 분류 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법이 5채널 EEG 데이터에서 최신 기술 수준의 정확도를 달성할 수 있을 정도로 강건하여 소비자용 EEG 장치에의 구현이 가능한가?

주요 결과

• 주관적 설정에서 32채널 환경에서 SVM 분류기는 Valence에 대해 95.32%, Arousal에 대해 95.68%의 정확도를 기록하여 이전 최신 기술 수준의 92.7% 및 93.1%를 초월했다.
• 비주관적 설정에서는 Valence에 대해 80.70%, Arousal에 대해 81.41%의 정확도를 기록하여 개인 간 일반화 능력이 뛰어나다는 것을 입증했다.
• 32채널에서 5채널로 감소시켜도 평균 정확도가 오직 3.54% 뿐 감소했으며, 주관적 설정에서 5채널 환경에서도 SVM은 Valence에 대해 92%, Arousal에 대해 92.1%의 정확도를 유지했다.
• 백그라운드 제거 전처리가 모든 시나리오에서 분류 정확도를 크게 향상시켜 EEG 신호의 개인적 차이를 보정하는 데 중요한 역할을 한다는 것을 시사했다.
• Arousal과 Valence 간 조건부 예측을 사용하는 연쇄형 SVM 모델은 단일 SVM 모델보다 略히 높은 정확도를 기록하여 차원 간 의존성 모델링의 가치를 입증했다.
• 3D CNN 모델은 SVM에 비해 성능이 열 劣하므로, 이 특정 DWT 기반 특징 표현에 대해서는 간단한 커널 기반 모델이 딥 러닝보다 더 효과적일 수 있음을 시사했다.