[论文解读] Continuous Emotion Recognition during Music Listening Using EEG Signals: A Fuzzy Parallel Cascades Model

Fatemeh Hasanzadeh, Mohsen Annabestani+1 more|arXiv (Cornell University)|Oct 19, 2019

EEG and Brain-Computer Interfaces参考文献 52被引用 37

一句话总结

引入一个模糊并行级联（FPC）模型，在音乐聆听过程中的时变 EEG 上预测连续的价性/唤起，超越基线的 LR、SVR 和 LSTM。分析了来自 15 名受试者、7 个乐段的 EEG，其中额前区 θ 频带活性与价性相关。

ABSTRACT

A controversial issue in artificial intelligence is human emotion recognition. This paper presents a fuzzy parallel cascades (FPC) model for predicting the continuous subjective appraisal of the emotional content of music by time-varying spectral content of EEG signals. The EEG, along with an emotional appraisal of 15 subjects, was recorded during listening to seven musical excerpts. The emotional appraisement was recorded along the valence and arousal emotional axes as a continuous signal. The FPC model was composed of parallel cascades with each cascade containing a fuzzy logic-based system. The FPC model performance was evaluated by comparing with linear regression (LR), support vector regression (SVR) and Long Short Term Memory recurrent neural network (LSTM RNN) models. The RMSE of the FPC was lower than other models for the estimation of both valence and arousal of all musical excerpts. The lowest RMSE was 0.089 which was obtained in estimation of the valence of MS4 by the FPC model. The analysis of MI of frontal EEG with the valence confirms the role of frontal channels in theta frequency band in emotion recognition. Considering the dynamic variations of musical features during songs, employing a modeling approach to predict dynamic variations of the emotional appraisal can be a plausible substitute for the classification of musical excerpts into predefined labels.

研究动机与目标

• 推动在音乐聆听过程中进行连续、动态的情绪评估预测，而非固定标签分类。
• 开发一个模糊并行级联（FPC）框架，使每个级联使用模糊逻辑将 EEG 特征映射到情绪评估。
• 在随时间变化的价性和唤起数据上，将 FPC 与线性回归、支持向量回归和 LSTM 进行比较评估。
• 研究神经生理相关性，尤其是额前 θ 频带活性在 EEG 情绪估计中的作用。

提出的方法

• 构建在受试者聆听七个音乐乐段时捕获的时变 EEG 特征。
• 设计一个并行级联架构，其中每个级联由一个基于模糊逻辑的系统组成。
• 训练并比较 FPC 与 LR、SVR 和 LSTM 在连续的价性和唤起预测上的表现。
• 使用 RMSE 作为价性和唤起估计的评价指标。
• 分析额前脑电通道与价性之间的互信息（MI），以识别神经生理相关性。

实验结果

研究问题

• RQ1 与基线模型相比，模糊并行级联模型是否能在音乐聆听过程中改善对连续价性和唤起的估计？
• RQ2 在多段音乐乐段中，FPC 相对于 LR、SVR 和 LSTM 的相对 RMSE 性能如何？
• RQ3 哪些 EEG 特征，特别是额前通道的 theta 频带，在连续情绪评估中最具信息量？
• RQ4 对音乐乐段建模动态情绪变化是否比单标签分类能得到更好的近似？

主要发现

• FPC 在所有音乐乐段中对价性和唤起的 RMSE 均低于 LR、SVR 和 LSTM。
• 报道的最佳单一结果是使用 FPC 对 MS4 乐段的价性估计 RMSE = 0.089。
• 额前脑电通道的 theta 频带与价性显示出显著的互信息，支持额前 theta 在情绪识别中的作用。
• 建模动态情绪变化与连续评估一致，而非固定乐段分类。