[论文解读] Automatic Emotion Recognition (AER) System based on Two-Level Ensemble of Lightweight Deep CNN Models

Emad-ul-Haq Qazi, Muhammad Hussain+2 more|arXiv (Cornell University)|Apr 30, 2019

EEG and Brain-Computer Interfaces参考文献 43被引用 11

一句话总结

本文提出 Deep-AER，一种基于轻量级一维卷积神经网络（1D-CNN）的两级集成模型，用于从脑电信号（EEG）中实现自动情绪识别（AER）。通过采用参数极少的金字塔形一维卷积神经网络，并结合通道与层级间的多数投票策略进行预测融合，该系统在 DEAP 数据集上的 HV 与 LV 分类任务中达到 98.43% 的准确率，在 HA 与 LA 分类任务中达到 97.65% 的准确率，优于当前最先进的方法。

ABSTRACT

Emotions play a crucial role in human interaction, health care and security investigations and monitoring. Automatic emotion recognition (AER) using electroencephalogram (EEG) signals is an effective method for decoding the real emotions, which are independent of body gestures, but it is a challenging problem. Several automatic emotion recognition systems have been proposed, which are based on traditional hand-engineered approaches and their performances are very poor. Motivated by the outstanding performance of deep learning (DL) in many recognition tasks, we introduce an AER system (Deep-AER) based on EEG brain signals using DL. A DL model involves a large number of learnable parameters, and its training needs a large dataset of EEG signals, which is difficult to acquire for AER problem. To overcome this problem, we proposed a lightweight pyramidal one-dimensional convolutional neural network (LP-1D-CNN) model, which involves a small number of learnable parameters. Using LP-1D-CNN, we build a two level ensemble model. In the first level of the ensemble, each channel is scanned incrementally by LP-1D-CNN to generate predictions, which are fused using majority vote. The second level of the ensemble combines the predictions of all channels of an EEG signal using majority vote for detecting the emotion state. We validated the effectiveness and robustness of Deep-AER using DEAP, a benchmark dataset for emotion recognition research. The results indicate that FRONT plays dominant role in AER and over this region, Deep-AER achieved the accuracies of 98.43% and 97.65% for two AER problems, i.e., high valence vs low valence (HV vs LV) and high arousal vs low arousal (HA vs LA), respectively. The comparison reveals that Deep-AER outperforms the state-of-the-art systems with large margin. The Deep-AER system will be helpful in monitoring for health care and security investigations.

研究动机与目标

• 为解决传统人工特征工程 AER 系统在 EEG 信号上性能较低的问题。
• 通过设计参数量极少的轻量级深度学习模型，克服 EEG 基础 AER 中的数据稀缺问题。
• 通过结合通道级与信号级预测的两级集成策略，提升情绪识别的准确性。
• 在基准 DEAP 数据集上验证模型的鲁棒性与有效性。

提出的方法

• 提出一种参数极少的轻量级金字塔形一维卷积神经网络（LP-1D-CNN），以减少对数据的依赖。
• 在一级集成中，独立地将 LP-1D-CNN 应用于每个 EEG 通道，生成独立的预测结果。
• 通过多数投票策略融合一级预测结果，形成通道级情绪估计。
• 在二级集成中，通过多数投票策略融合所有通道级预测结果，确定最终情绪状态。
• 在 DEAP 数据集上进行模型训练与评估，将高愉悦度与低愉悦度（HV vs LV）以及高唤醒度与低唤醒度（HA vs LA）作为分类任务。
• 以额叶脑区的 EEG 信号作为情绪相关特征的主要来源，因其在情绪处理中占据主导地位。

实验结果

研究问题

• RQ1 轻量级深度学习模型是否能在训练数据有限的情况下实现高精度的 EEG 基础情绪识别？
• RQ2 通过结合 EEG 通道间与层级间的预测，两级集成策略是否能提升情绪识别性能？
• RQ3 哪些 EEG 区域在 AER 系统中对准确情绪识别具有最显著的贡献？
• RQ4 与当前最先进的方法相比，所提出的 Deep-AER 系统在基准数据集上的准确率与鲁棒性如何？
• RQ5 对多个通道特异性预测结果进行多数投票，是否能提升情绪分类的可靠性？

主要发现

• Deep-AER 系统在 DEAP 数据集上对高愉悦度与低愉悦度情绪的区分准确率达到 98.43%。
• 该系统在高唤醒度与低唤醒度状态分类中达到 97.65% 的准确率，展现出在第二情绪维度上的强劲性能。
• 额叶 EEG 区域在情绪识别中发挥主导作用，支持了本模型对这一区域的关注设计。
• 两级集成策略通过聚合多个 EEG 通道的预测结果，显著提升了分类的鲁棒性。
• Deep-AER 显著优于现有最先进的 AER 系统，证实了轻量级与集成方法的有效性。
• LP-1D-CNN 模型参数量极少，适用于资源受限环境，如实时健康监测系统。