[论文解读] Facial Emotions Recognition using Convolutional Neural Net

Faisal Ghaffar|arXiv (Cornell University)|Jan 6, 2020

Face and Expression Recognition参考文献 19被引用 6

一句话总结

本文提出了一种基于卷积神经网络（CNN）的系统，用于识别来自JAFFE和KDEF数据集的预处理图像中的七种基本面部情绪——愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性。通过应用数据增强和包含三层卷积层的架构并结合Dropout，该模型在合并数据集上实现了78.1%的准确率，并开发了实时GUI应用程序以实现对实时视频流的情绪分类。

ABSTRACT

Facial expressions vary from person to person, and the brightness, contrast, and resolution of every random image are different. This is why recognizing facial expressions is very difficult. This article proposes an efficient system for facial emotion recognition for the seven basic human emotions (angry, disgust, fear, happy, sad, surprise, and neutral), using a convolution neural network (CNN), which predicts and assigns probabilities to each emotion. Since deep learning models learn from data, thus, our proposed system processes each image with various pre-processing steps for better prediction. Every image was first passed through the face detection algorithm to include in the training dataset. As CNN requires a large amount of data, we duplicated our data using various filters on each image. Pre-processed images of size 80*100 are passed as input to the first layer of CNN. Three convolutional layers were used, followed by a pooling layer and three dense layers. The dropout rate for the dense layer was 20%. The model was trained by combining two publicly available datasets, JAFFE and KDEF. 90% of the data was used for training, while 10% was used for testing. We achieved maximum accuracy of 78.1 % using the combined dataset. Moreover, we designed an application of the proposed system with a graphical user interface that classifies emotions in real-time.

研究动机与目标

• 开发一种准确且鲁棒的面部情绪识别系统，用于识别七种基本人类情绪。
• 通过全面的图像预处理，应对表情、光照和图像质量的差异性。
• 通过整合并增强来自JAFFE和KDEF数据集的数据，提升模型的泛化能力。
• 实现一个带有图形用户界面的实时情绪分类应用程序。
• 评估基于CNN的模型在多样化、预处理过的面部图像数据集上的性能。

提出的方法

• 在将图像输入CNN之前，应用人脸检测以提取面部区域。
• 使用滤波器对图像进行预处理和增强，以增加训练数据的多样性并提高模型的鲁棒性。
• 采用包含三层卷积层、最大池化层和三层全连接密集层的CNN架构。
• 在全连接层中应用20%的Dropout率，以减少过拟合。
• 模型在合并后的JAFFE和KDEF数据集的90%上进行训练，并在10%的测试集上进行测试。
• 开发了实时GUI应用程序，利用训练好的模型对实时视频输入进行情绪分类。

实验结果

研究问题

• RQ1 在光照和分辨率等不同图像条件下，CNN能否有效识别七种基本面部情绪？
• RQ2 数据增强对CNN在面部情绪识别任务中的性能有何影响？
• RQ3 通过自定义CNN架构结合JAFFE和KDEF数据集，可达到何种准确率水平？
• RQ4 训练好的CNN模型能否在实时GUI应用程序中有效部署，以实现对实时视频流的情绪分类？
• RQ5 Dropout正则化如何影响情绪识别模型的泛化能力？

主要发现

• 所提出的CNN模型在合并后的JAFFE和KDEF数据集上实现了最高78.1%的准确率。
• 通过滤波进行数据增强显著提升了模型在多样化图像条件下的鲁棒性和泛化能力。
• 引入20%的Dropout率有效减少了过拟合，提升了模型的稳定性。
• 系统成功实现了带有功能图形用户界面的实时情绪分类应用程序。
• 人脸检测预处理通过仅聚焦于面部区域，提升了输入数据的相关性。
• 该模型在七种目标情绪上表现出一致的性能，尽管各类别的准确率略有差异。