[論文レビュー] Continuous Emotion Recognition during Music Listening Using EEG Signals: A Fuzzy Parallel Cascades Model

Fatemeh Hasanzadeh, Mohsen Annabestani+1 more|arXiv (Cornell University)|Oct 19, 2019

EEG and Brain-Computer Interfaces参考文献 52被引用数 37

ひとこと要約

FPC（ファジー・パラレル・カスケード）モデルを導入し、音楽聴取中の時間変動EEGから連続的な valence/arousal を予測する。LR、SVR、LSTM のベースラインよりも性能が上回る。7つの抜粋にわたって15名の被験者のEEGを分析し、前頭 theta 活性が valence に関連することを示した。

ABSTRACT

A controversial issue in artificial intelligence is human emotion recognition. This paper presents a fuzzy parallel cascades (FPC) model for predicting the continuous subjective appraisal of the emotional content of music by time-varying spectral content of EEG signals. The EEG, along with an emotional appraisal of 15 subjects, was recorded during listening to seven musical excerpts. The emotional appraisement was recorded along the valence and arousal emotional axes as a continuous signal. The FPC model was composed of parallel cascades with each cascade containing a fuzzy logic-based system. The FPC model performance was evaluated by comparing with linear regression (LR), support vector regression (SVR) and Long Short Term Memory recurrent neural network (LSTM RNN) models. The RMSE of the FPC was lower than other models for the estimation of both valence and arousal of all musical excerpts. The lowest RMSE was 0.089 which was obtained in estimation of the valence of MS4 by the FPC model. The analysis of MI of frontal EEG with the valence confirms the role of frontal channels in theta frequency band in emotion recognition. Considering the dynamic variations of musical features during songs, employing a modeling approach to predict dynamic variations of the emotional appraisal can be a plausible substitute for the classification of musical excerpts into predefined labels.

研究の動機と目的

• 音楽聴取中の固定ラベル分類ではなく、連続的・動的な感情評価予測を動機づける。
• 各カスケードがファジィ論理を用いて EEG特徴量を情動評価へマッピングする FPC フレームワークを開発する。
• 時変的な valence と arousal のデータに対し、FPC を線形回帰（LR）、サポートベクタ回帰（SVR）、および LSTM に対して評価する。
• 特に前頭部の theta バンド活動を含む神経生理学的相関を EEG からの感情推定において検討する。

提案手法

• 7つの音楽断片を聴取中に取得した時変EEG特徴を構築する。
• 各カスケードがファジィ・ロジックベースのシステムで構成される並列カスケードアーキテクチャを設計する。
• 連続的な valence と arousal の予測において FPC を LR、SVR、LSTM と比較・訓練する。
• valence と arousal の推定に対して RMSE を評価指標として用いる。
• 前頭 EEG チャンネルと valence とのMIを分析し、神経生理学的関連を特定する。

実験結果

リサーチクエスチョン

• RQ1 音楽聴取中の EEG から valence と arousal の連続推定を、ベースラインモデルと比較して FPC が改善できるか。
• RQ2 複数の音楽断片に対する FPC の RMSE は LR、SVR、LSTM と比較してどの程度良いか。
• RQ3 連続的な感情評価に最も情報量を持つ EEG 特徴、特に theta バンドの前頭チャンネルは何か。
• RQ4 動的な感情変動をモデル化することは、音楽断片の固定ラベル分類よりも近似精度を高めるか。

主な発見

• FPC は valence および arousal の両方において、すべての音楽断片で LR、SVR、LSTM より低い RMSE を達成した。
• 報告された最高の単一結果は、excerpt MS4 の valence 推定における RMSE = 0.089（FPC）。
• 前頭部 theta バンドの EEG チャンネルは valence との意味のある MI を示し、感情認識における前頭 theta の関与を支持する。
• 動的な感情変動のモデリングは、音楽断片の固定的分類よりも連続的評価に整合する。