[论文解读] Automatic facial feature extraction and expression recognition based on neural network

S. P. Khandait, Ravindra C. Thool+1 more|arXiv (Cornell University)|Apr 10, 2012

Face and Expression Recognition参考文献 15被引用 12

一句话总结

该论文提出了一种基于神经网络的系统，利用前馈反向传播网络将面部表情分类为七种类别，实现自动面部特征提取与表情识别。系统采用形态学操作、SUSAN边缘检测和几何分析进行特征定位，在JAFFE数据库上实现了95.26%的测试准确率。

ABSTRACT

In this paper, an approach to the problem of automatic facial feature extraction from a still frontal posed image and classification and recognition of facial expression and hence emotion and mood of a person is presented. Feed forward back propagation neural network is used as a classifier for classifying the expressions of supplied face into seven basic categories like surprise, neutral, sad, disgust, fear, happy and angry. For face portion segmentation and localization, morphological image processing operations are used. Permanent facial features like eyebrows, eyes, mouth and nose are extracted using SUSAN edge detection operator, facial geometry, edge projection analysis. Experiments are carried out on JAFFE facial expression database and gives better performance in terms of 100% accuracy for training set and 95.26% accuracy for test set.

研究动机与目标

• 开发一种自动化系统，从正面静态图像中提取面部特征。
• 将面部表情分类为七种基本类别：惊讶、中性、悲伤、厌恶、恐惧、快乐和愤怒。
• 基于提取的面部特征识别人类情绪与情绪状态。
• 通过神经网络分类提高面部表情识别的准确性。
• 在标准面部表情数据库（JAFFE）上验证系统的性能。

提出的方法

• 使用形态学图像处理操作进行人脸定位与分割。
• 通过SUSAN边缘检测算子提取永久性面部特征（眼睛、眉毛、嘴巴、鼻子）。
• 应用面部几何分析与边缘投影分析以优化特征定位。
• 训练前馈反向传播神经网络，将面部表情分类为七个预定义类别。
• 使用JAFFE数据库进行系统的训练与测试。
• 采用具有监督学习的多层感知器分类器进行表情分类。

实验结果

研究问题

• RQ1 形态学操作能否有效从正面静态图像中分割出人脸区域？
• RQ2 SUSAN边缘检测与几何约束能否可靠地提取眼睛、眉毛、嘴巴和鼻子等关键面部特征？
• RQ3 前馈反向传播神经网络在多大程度上能准确将面部表情分类为七种类别？
• RQ4 该系统在JAFFE数据库的未见测试数据上表现如何？
• RQ5 所提出的表情识别框架中，训练准确率与测试准确率之间的权衡如何？

主要发现

• 系统在训练集上的面部表情分类准确率达到100%。
• 测试集准确率达到95.26%，表现出优异的泛化性能。
• 形态学操作在正面摆拍图像中有效定位了人脸区域。
• SUSAN边缘检测结合几何约束，实现了对永久性面部特征的鲁棒提取。
• 前馈反向传播神经网络成功地将面部表情分类为七种类别。
• 整体框架在标准JAFFE面部表情数据库上表现出高度的可靠性与准确性。