[논문 리뷰] Continuous Emotion Recognition during Music Listening Using EEG Signals: A Fuzzy Parallel Cascades Model

Fatemeh Hasanzadeh, Mohsen Annabestani외 1명|arXiv (Cornell University)|2019. 10. 19.

EEG and Brain-Computer Interfaces참고 문헌 52인용 수 37

한 줄 요약

음악 감상 중 시간에 따라 변하는 EEG로 연속적인 밸런스(valence)와 각성(arousal)을 예측하는 퍼지 병렬 캐스케이드(FPC) 모델을 도입하여 LR, SVR, LSTM 기본 모델보다 우수한 성능을 보임. 7개의 발췌에서 15명의 피험자의 EEG를 분석하고 전두부 θ 활동이 밸런스와 연결됨.

ABSTRACT

A controversial issue in artificial intelligence is human emotion recognition. This paper presents a fuzzy parallel cascades (FPC) model for predicting the continuous subjective appraisal of the emotional content of music by time-varying spectral content of EEG signals. The EEG, along with an emotional appraisal of 15 subjects, was recorded during listening to seven musical excerpts. The emotional appraisement was recorded along the valence and arousal emotional axes as a continuous signal. The FPC model was composed of parallel cascades with each cascade containing a fuzzy logic-based system. The FPC model performance was evaluated by comparing with linear regression (LR), support vector regression (SVR) and Long Short Term Memory recurrent neural network (LSTM RNN) models. The RMSE of the FPC was lower than other models for the estimation of both valence and arousal of all musical excerpts. The lowest RMSE was 0.089 which was obtained in estimation of the valence of MS4 by the FPC model. The analysis of MI of frontal EEG with the valence confirms the role of frontal channels in theta frequency band in emotion recognition. Considering the dynamic variations of musical features during songs, employing a modeling approach to predict dynamic variations of the emotional appraisal can be a plausible substitute for the classification of musical excerpts into predefined labels.

연구 동기 및 목표

• 음악 감상 중 고정 라벨 분류가 아닌 연속적이고 동적 감정 평가 예측을 동기화한다.
• 각 캐스케이스가 퍼지 로직으로 EEG 특징을 감정 평가로 매핑하는 퍼지 병렬 캐스케이드(FPC) 프레임워크를 개발한다.
• FPC를 LR, SVR, LSTM과 비교하여 시간에 따른 밸런스와 각성 데이터에 대해 평가한다.
• EEG에서 특히 전두 θ 대역 활동 등 신경생리학적 상관관을 연구한다.

제안 방법

• 피험자가 일곱 개의 음악 발췌를 듣는 동안 측정된 시간-가변 EEG 특징을 구성한다.
• 각 캐스케이스가 퍼지 로직 기반 시스템으로 구성된 병렬 캐스케이즈 아키텍처를 설계한다.
• 연속적인 밸런스와 각성 예측에서 FPC를 LR, SVR, LSTM과 비교·훈련한다.
• 밸런스와 각성 추정 모두에 대해 RMSE를 평가 지표로 사용한다.
• 전두 EEG 채널과 밸런스 사이의 상호정보(MI)를 분석하여 신경생리학적 의의를 확인한다.

실험 결과

연구 질문

• RQ1 퍼지 병렬 캐스케이드 모델이 음악 감상 중 EEG로부터 밸런스와 각성의 연속 추정을 개선할 수 있는가, 베이스라인 모델과 비교하여?
• RQ2 다수의 음악 발췌에 걸쳐 FPC의 상대적 RMSE 성능은 LR, SVR, LSTM 대비 어떤가?
• RQ3 전두 채널의 θ 대역을 포함한 어떤 EEG 특징이 연속 감정 평가에 가장 정보력을 가지는가?
• RQ4 음악 발췌를 단일 라벨 분류로 가정하는 것보다 동적 감정 변화를 모델링하는 것이 더 나은 근사치를 제공하는가?

주요 결과

• FPC는 모든 음악 발췌에 대해 밸런스와 각성 추정에서 LR, SVR, LSTM보다 낮은 RMSE를 달성했다.
• 가장 우수한 단일 결과는 발췌 MS4의 밸런스 추정에 대해 RMSE = 0.089로 보고되며, 이는 FPC를 이용한 경우이다.
• θ 대역의 전두 EEG 채널은 밸런스와 의미 있는 MI를 보이며, 감정 인식에서 전두 θ의 관여를 지지한다.
• 동적 감정 변화를 모델링하는 것은 고정 발췌 분류보다 연속 평가와 더 잘 맞는다.