[论文解读] Fine-Grained Facial Expression Analysis Using Dimensional Emotion Model

Feng Zhou, Shu Kong+3 more|arXiv (Cornell University)|May 2, 2018

Face and Expression Recognition参考文献 39被引用 9

一句话总结

本文提出一种深度学习方法，通过将面部表情回归到连续的情绪维度空间（愉悦度与唤醒度），实现细粒度的面部表情分析，突破了离散情绪分类的局限。采用带有双线性池化的卷积神经网络（CNN），以建模特征间的二阶交互关系，该方法在情感计算基准数据集上取得了最先进性能，显著优于标准CNN基线模型，在捕捉细微情绪强度和多样化情绪状态方面表现更优。

ABSTRACT

Automated facial expression analysis has a variety of applications in human-computer interaction. Traditional methods mainly analyze prototypical facial expressions of no more than eight discrete emotions as a classification task. However, in practice, spontaneous facial expressions in naturalistic environment can represent not only a wide range of emotions, but also different intensities within an emotion family. In such situation, these methods are not reliable or adequate. In this paper, we propose to train deep convolutional neural networks (CNNs) to analyze facial expressions explainable in a dimensional emotion model. The proposed method accommodates not only a set of basic emotion expressions, but also a full range of other emotions and subtle emotion intensities that we both feel in ourselves and perceive in others in our daily life. Specifically, we first mapped facial expressions into dimensional measures so that we transformed facial expression analysis from a classification problem to a regression one. We then tested our CNN-based methods for facial expression regression and these methods demonstrated promising performance. Moreover, we improved our method by a bilinear pooling which encodes second-order statistics of features. We showed such bilinear-CNN models significantly outperformed their respective baselines.

研究动机与目标

• 解决离散情绪分类在捕捉自然面部表情中细微且多样的情绪状态方面的局限性。
• 将面部表情建模为情绪维度模型（愉悦度与唤醒度）的连续回归问题，而非离散分类任务。
• 通过引入具有双线性池化的深度CNN，提升特征表示能力，从而改善细粒度表情分析性能。
• 实现更具可解释性与细致区分度的面部表情分析，以反映真实世界中情绪的多样性与强度变化。
• 在基准数据集上证明所提方法优于标准CNN基线模型的性能表现。

提出的方法

• 将面部表情映射到情绪维度空间，以愉悦度与唤醒度作为连续回归目标。
• 训练深度卷积神经网络（CNN）从面部图像中预测连续的愉悦度与唤醒度分数。
• 引入双线性池化以捕捉CNN特征之间的二阶统计交互关系，增强表征学习能力。
• 将双线性池化与CNN结合，构建双线性-CNN模型，更有效地建模特征共现关系。
• 采用均方误差损失函数，端到端训练模型以回归愉悦度与唤醒度。
• 在标准面部表情数据集上评估模型性能，并与标准CNN基线模型进行对比。

实验结果

研究问题

• RQ1 通过在连续情绪维度空间中建模情绪，而非使用离散类别，能否提升面部表情分析性能？
• RQ2 双线性池化在增强细粒度表情回归的特征表示方面效果如何？
• RQ3 基于CNN的回归模型在多大程度上能够捕捉基本情绪之外的情绪强度与多样性的细微变化？
• RQ4 所提方法在基准数据集上是否优于标准CNN模型，以预测愉悦度与唤醒度分数？
• RQ5 情绪维度模型是否能在自然场景下提供更具细致性与可解释性的面部表情分析？

主要发现

• 所提出的双线性-CNN模型在基准数据集上预测愉悦度与唤醒度分数的表现，显著优于标准CNN基线模型。
• 在情绪维度空间中采用回归建模，相比离散分类，能实现更精确、更细粒度的情绪状态分析。
• 双线性池化通过捕捉二阶统计依赖关系，增强了特征表示，从而提升了模型性能。
• 该方法成功捕捉了传统离散情绪识别无法涵盖的细微情绪强度与多样化情绪表达。
• 定量结果表明，多种评估指标下性能均持续提升，验证了连续回归方法的有效性。
• 模型在真实世界自然场景下的面部表情上表现出强大的泛化能力，验证了其在人机交互中的实际应用价值。