[论文解读] Emotion Analysis on EEG Signal Using Machine Learning and Neural Network

Samiha Ahmed, Eshaan Tanzim Sabur|arXiv (Cornell University)|Jul 9, 2023

EEG and Brain-Computer Interfaces被引用 7

一句话总结

本研究提出了一种结合机器学习与深度学习的混合方法，用于基于DEAP数据集的EEG情绪识别，通过带通滤波和FFT进行特征提取，随后采用SVM、KNN及基于LSTM的RNN模型进行分类。经过1000轮训练后，RNN模型达到最高的验证准确率78.28%，展现出在捕捉情绪状态时序动态方面的优越性能。

ABSTRACT

Emotion has a significant influence on how one thinks and interacts with others. It serves as a link between how a person feels and the actions one takes, or it could be said that it influences one's life decisions on occasion. Since the patterns of emotions and their reflections vary from person to person, their inquiry must be based on approaches that are effective over a wide range of population regions. To extract features and enhance accuracy, emotion recognition using brain waves or EEG signals requires the implementation of efficient signal processing techniques. Various approaches to human-machine interaction technologies have been ongoing for a long time, and in recent years, researchers have had great success in automatically understanding emotion using brain signals. In our research, several emotional states were classified and tested on EEG signals collected from a well-known publicly available dataset, the DEAP Dataset, using SVM (Support Vector Machine), KNN (K-Nearest Neighbor), and an advanced neural network model, RNN (Recurrent Neural Network), trained with LSTM (Long Short Term Memory). The main purpose of this study is to improve ways to improve emotion recognition performance using brain signals. Emotions, on the other hand, can change with time. As a result, the changes in emotion over time are also examined in our research.

研究动机与目标

• 通过利用先进的信号处理与机器学习技术，提升基于EEG信号的情绪识别准确率。
• 评估传统机器学习模型（SVM、KNN）与深度学习模型（LSTM-RNN）在EEG情绪分类任务中的性能表现。
• 通过建模情绪状态的序列变化，探究EEG信号中时序动态对情绪识别的影响。
• 通过频带分解与FFT提升特征提取效果，以改善情绪状态的表征能力。
• 在公开可用的数据集（DEAP）上验证所提出框架的泛化能力，确保其适用于多样化人群。

提出的方法

• 使用带通滤波对DEAP数据集中的EEG信号进行预处理，以分离出相关频带（如α、β、γ波段）。
• 通过快速傅里叶变换（FFT）将时域信号转换为频域表示，实现特征提取。
• 应用支持向量机（SVM）与K近邻（KNN）作为传统机器学习分类器，用于情绪的效价与唤醒度分类。
• 训练一种基于循环神经网络（RNN）且包含长短期记忆（LSTM）单元的深度学习模型，以捕捉EEG信号中的时序依赖关系。
• LSTM模型在隐层使用ReLU激活函数，输出层使用Sigmoid激活函数，实现情绪状态的二分类。
• 训练过程中采用批量归一化、Dropout（各层Dropout率分别为30%、50%、30%、30%、30%、20%）、RMSprop优化器（初始学习率：0.001），并以均方误差（MSE）作为损失函数。

Figure 1: Time Domain of the EEG Signals

实验结果

研究问题

• RQ1 机器学习与深度学习模型能否有效从EEG信号中分类情绪状态（效价与唤醒度）？
• RQ2 与SVM、KNN等静态分类器相比，通过LSTM引入时序建模后，情绪识别准确率是否得到提升？
• RQ3 基于FFT的频域特征提取对情绪识别系统性能有何影响？
• RQ4 不同的信号处理技术（带通滤波、FFT）如何影响EEG数据中情绪状态的表征？
• RQ5 当使用未经大量人工特征工程的原始EEG数据时，深度学习模型在不同受试者间的泛化能力如何？

主要发现

• 基于LSTM的RNN模型在训练1000轮后达到最高的验证准确率78.28%，优于SVM与KNN模型。
• 训练准确率从9.61%提升至69.21%，验证准确率从53.42%提升至78.28%，表明学习过程稳定且持续进步。
• 前150轮训练中，验证损失从0.06851降至0.04787，表明模型收敛效果良好。
• 批量归一化与Dropout的使用显著降低了过拟合现象，并提升了各训练阶段的泛化能力。
• 均方误差（MSE）损失函数有效惩罚了较大的预测误差，有助于优化过程的稳定性。
• 模型性能随时间逐步提升，200轮后增益最为缓慢，表明后期训练阶段收益递减。

Figure 2: Power Spectral Density Across Channels