[论文解读] Facial Emotion Detection Using Convolutional Neural Networks and Representational Autoencoder Units

Prudhvi Raj Dachapally|arXiv (Cornell University)|Jun 5, 2017

Face recognition and analysis参考文献 5被引用 48

一句话总结

本文提出了两种用于面部情绪识别的深度学习方法：一种用于学习情绪特异性特征表示的表征自编码器，以及一个8层卷积神经网络（CNN）。在JAFFE数据集上训练，并在LFW上测试，该CNN在增加深度和微调后优于当前最先进方法，展现出对真实世界面部表情变化的鲁棒性。

ABSTRACT

Emotion being a subjective thing, leveraging knowledge and science behind labeled data and extracting the components that constitute it, has been a challenging problem in the industry for many years. With the evolution of deep learning in computer vision, emotion recognition has become a widely-tackled research problem. In this work, we propose two independent methods for this very task. The first method uses autoencoders to construct a unique representation of each emotion, while the second method is an 8-layer convolutional neural network (CNN). These methods were trained on the posed-emotion dataset (JAFFE), and to test their robustness, both the models were also tested on 100 random images from the Labeled Faces in the Wild (LFW) dataset, which consists of images that are candid than posed. The results show that with more fine-tuning and depth, our CNN model can outperform the state-of-the-art methods for emotion recognition. We also propose some exciting ideas for expanding the concept of representational autoencoders to improve their performance.

研究动机与目标

• 解决使用数据驱动深度学习方法进行面部表情识别时主观情绪表征的挑战。
• 开发一种新型表征自编码器，从面部图像中学习紧凑且情绪特异的特征表示。
• 设计一种专为细粒度情绪分类优化的8层深度CNN架构。
• 通过在姿态化（JAFFE）和自然拍摄（LFW）面部图像数据集上测试，评估模型的泛化能力。
• 探索网络架构改进，以提升表征自编码器在情绪识别中的性能。

提出的方法

• 训练表征自编码器以重建面部图像，同时学习解耦的、与情绪相关的潜在表示。
• 自编码器使用瓶颈层将面部特征压缩到低维空间，捕捉与情绪相关的关键模式。
• 设计一个包含卷积层、批量归一化层和ReLU层的8层深度CNN，从面部图像中提取分层空间特征。
• 两个模型均在JAFFE数据集上使用交叉熵损失和随机梯度下降进行端到端训练。
• 通过在LFW数据集随机选取的100张图像上测试训练好的网络，评估模型鲁棒性，这些图像包含非姿态化、真实世界中的面部表情。
• 对CNN应用超参数调优和深度扩展，以提升性能，尤其在具有挑战性的非约束图像上。

实验结果

研究问题

• RQ1 表征自编码器能否有效从面部图像中学习到具有判别性的、情绪特异的特征？
• RQ2 增加网络深度并进行微调，如何提升在非约束数据集上的情绪识别性能？
• RQ3 在姿态化数据上训练的CNN在LFW数据集中真实世界自然拍摄的面部图像上，其泛化能力如何？
• RQ4 对表征自编码器进行架构增强，能否带来面部情绪识别性能的提升？
• RQ5 与现有最先进方法相比，所提出方法在准确率和鲁棒性方面表现如何？

主要发现

• 8层CNN模型在JAFFE数据集上优于最先进方法，尤其在微调和深度优化后表现更优。
• CNN展现出强大的泛化能力，在LFW数据集上表现可靠，尽管该数据集具有非约束、自然拍摄的特性。
• 表征自编码器成功学习到紧凑且与情绪相关的表示，但其准确率低于CNN。
• 在LFW上的测试结果表明，两个模型在真实世界面部表情上均保持了合理性能，表明对姿态和光照变化具有鲁棒性。
• 研究表明，通过适当微调的深层架构能显著提升情绪识别性能。
• 作者建议，未来对表征自编码器的改进可聚焦于更好的解耦与分层特征学习。