[论文解读] Facial Emotion Recognition using Convolutional Neural Networks

Akash Saravanan, Gurudutt Perichetla+1 more|arXiv (Cornell University)|Oct 12, 2019

Emotion and Mood RecognitionPsychology参考文献 10被引用 17

一句话总结

本文提出了一种六层卷积神经网络（CNN），用于实时面部情绪识别，在仅使用单一数据集和轻量化架构的情况下，在 FER-2013 数据集上实现了 60% 的准确率。该模型通过滤波器和最大池化实现空间特征提取，采用 top-2 预测显著提升了可靠性，展示了在极简数据量下接近最先进水平的性能，并具备实时推理能力。

ABSTRACT

Facial expression recognition is a topic of great interest in most fields from artificial intelligence and gaming to marketing and healthcare. The goal of this paper is to classify images of human faces into one of seven basic emotions. A number of different models were experimented with, including decision trees and neural networks before arriving at a final Convolutional Neural Network (CNN) model. CNNs work better for image recognition tasks since they are able to capture spacial features of the inputs due to their large number of filters. The proposed model consists of six convolutional layers, two max pooling layers and two fully connected layers. Upon tuning of the various hyperparameters, this model achieved a final accuracy of 0.60.

研究动机与目标

• 开发一种实时面部情绪识别系统，能够将人脸分类为七种情绪：愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性。
• 解决真实场景部署中的挑战，如光照变化、面部部分遮挡以及厌恶和恐惧等罕见情绪的训练数据不平衡问题。
• 仅使用 FER-2013 数据集而不结合多个数据集，实现高准确率，强调模型效率与泛化能力。
• 通过实时网络摄像头输入评估模型性能，验证其在医疗、游戏和营销等实际应用领域的实时适用性。
• 探索超参数调优与模型架构对识别准确率的影响，尤其关注低资源情绪类别。

提出的方法

• 设计了一个包含六层卷积层、两层最大池化层和两层全连接层的 CNN，用于从面部图像中提取分层空间特征。
• 使用调优后的超参数的 Adam 优化器进行训练，以提升在 FER-2013 数据集上的收敛速度与泛化能力。
• 通过输出 softmax 层中预测概率最高的情绪类别进行情绪分类。
• 通过网络摄像头输入实现了实时测试模块，实现无感知延迟的实时推理。
• 采用混淆矩阵分析与 top-2 预测评估，以评估模型可靠性并识别误分类模式。
• 未来改进路径中考虑数据增强，以应对类别不平衡问题，特别是厌恶和恐惧等低频情绪。

实验结果

研究问题

• RQ1 仅使用 FER-2013 数据集，单一轻量化 CNN 架构能否实现接近最先进水平的面部情绪识别准确率？
• RQ2 该模型在实时网络摄像头输入下的表现如何？其推理速度与在非受控环境中的可靠性如何？
• RQ3 与 top-1 预测相比，top-2 预测在整体识别准确率方面提升了多少？
• RQ4 为何模型在某些情绪（如厌恶和恐惧）上表现不佳？类别不平衡如何影响性能？
• RQ5 在不依赖多数据集训练的前提下，超参数调优与架构选择能否显著提升性能？

主要发现

• 所提出的 CNN 在 FER-2013 数据集上达到了 60% 的最终准确率，证明了在单一数据集和极简架构复杂度下仍具备强大性能。
• 快乐和惊讶是预测最准确的情绪，准确率接近 60%；而厌恶的预测正确率略高于 50%。
• 在实时网络摄像头测试中，模型表现出高可靠性，几乎全部正确识别了快乐和惊讶，对中性/悲伤表情的识别正确率约为一半。
• 愤怒与恐惧常被相互混淆，而厌恶极少被正确预测，表明在区分细微或低频情绪方面仍存在挑战。
• top-2 预测策略显著提升了可靠性，因为正确情绪往往位列第二预测结果，证实其在鲁棒推理中的实用价值。
• 模型实现了无明显延迟的实时推理，表明其在游戏、医疗和营销等实时应用场景中具有强大部署潜力。