[论文解读] Dynamic Model of Facial Expression Recognition based on Eigen-face Approach

Nikunj Bajaj, Aurobinda Routray+1 more|arXiv (Cornell University)|Nov 23, 2013

Face and Expression Recognition参考文献 14被引用 7

一句话总结

本文提出了一种结合特征脸方法、主成分分析（PCA）和哈尔-like特征的动态面部表情识别模型，用于检测面部并建模面部表情的时间变化。通过将连续的面部图像投影到主特征方向上，并分析权重向量的动力学特性，该系统采用个体特定的方法对四种基本情绪——快乐、悲伤、惊讶和愤怒——进行分类，在个体表情变异性和强度差异下仍能实现鲁棒识别。

ABSTRACT

Emotions are best way of communicating information; and sometimes it carry more information than words. Recently, there has been a huge interest in automatic recognition of human emotion because of its wide spread application in security, surveillance, marketing, advertisement, and human-computer interaction. To communicate with a computer in a natural way, it will be desirable to use more natural modes of human communication based on voice, gestures and facial expressions. In this paper, a holistic approach for facial expression recognition is proposed which captures the variation in facial features in temporal domain and classifies the sequence of images in different emotions. The proposed method uses Haar-like features to detect face in an image. The dimensionality of the eigenspace is reduced using Principal Component Analysis (PCA). By projecting the subsequent face images into principal eigen directions, the variation pattern of the obtained weight vector is modeled to classify it into different emotions. Owing to the variations of expressions for different people and its intensity, a person specific method for emotion recognition is followed. Using the gray scale images of the frontal face, the system is able to classify four basic emotions such as happiness, sadness, surprise, and anger.

研究动机与目标

• 开发一种整体的、动态的自动面部表情识别模型，以捕捉面部特征的时间变化。
• 解决不同个体在面部表情和表情强度上的差异性问题。
• 通过在特征空间中对随时间演变的面部特征进行建模，提高情绪识别的准确性。
• 通过识别快乐、悲伤、惊讶和愤怒等情绪，实现自然的人机交互。
• 实施个体特定的识别策略，以在多样的表情模式下提升性能。

提出的方法

• 使用哈尔-like特征进行面部检测，以在灰度图像中定位面部。
• 应用主成分分析（PCA）以降低面部图像空间的维度，构建特征空间。
• 将后续的面部图像投影到主特征方向上，以提取表示面部变化的权重向量。
• 对权重向量的时间动态进行建模，以捕捉图像序列中表情的演变过程。
• 采用个体特定的分类策略，以考虑个体在表情模式和强度上的差异。
• 通过分析降维特征空间中权重向量的动态行为，完成情绪分类。

实验结果

研究问题

• RQ1 如何有效建模面部表情的时间变化，以提升情绪识别性能？
• RQ2 个体特定建模在多样化表情模式下的识别准确率提升程度如何？
• RQ3 基于PCA的特征空间表示能否有效捕捉快乐、悲伤、惊讶和愤怒等基本情绪的判别性特征？
• RQ4 哈尔-like特征在动态表情识别背景下如何实现可靠的面部检测？
• RQ5 表情强度变化对识别性能有何影响，又该如何缓解？

主要发现

• 所提方法通过对面部表情序列的动态建模，成功对四种基本情绪——快乐、悲伤、惊讶和愤怒——进行分类。
• 个体特定建模显著提升了识别性能，通过考虑个体在表情强度和模式上的差异。
• PCA的使用有效降低了维度，同时保留了用于情绪分类的判别性面部特征。
• 在特征空间中对权重向量的时间建模，实现了对帧间表情演变的精确追踪。
• 哈尔-like特征在正面前置灰度图像中提供了可靠的面部检测，为识别流程提供了稳定输入。
• 通过采用动态的、个体特定的方法，系统对表情强度变化和个体面部特征差异表现出鲁棒性。