[论文解读] Improved Human Emotion Recognition Using Symmetry of Facial Key Points with Dihedral Group

Mehdi Ghayoumi, Arvind K. Bansal|arXiv (Cornell University)|Apr 14, 2017

Face and Expression Recognition参考文献 24被引用 4

一句话总结

本文提出了一种新颖的人类情绪识别方法，利用面部关键点的二面体群对称性来提高准确性。通过使用 Dn 对称群对人脸几何结构进行建模，该方法增强了特征表示，在标准数据集上实现了最先进性能，证明了群论对称性在人脸分析中的有效性。

ABSTRACT

This article describes how to deploy dihedral group theory to detect Facial Key Points (FKP) symmetry to recognize emotions. The method can be applied in many other areas which those have the same data texture.

研究动机与目标

• 通过利用面部关键点中的几何对称性来提高人类情绪识别的准确性。
• 使用群论，特别是二面体群 Dn，形式化面部关键点的对称性。
• 开发一种能够捕捉内在面部对称性的鲁棒特征表示方法，以提升分类性能。
• 在标准情绪识别数据集上验证该方法，并与现有方法进行比较。
• 证明基于对称性的方法在具有类似纹理模式的其他计算机视觉任务中的可扩展性。

提出的方法

• 该方法使用二面体群 Dn 对面部关键点进行建模，以捕捉旋转和反射对称性。
• 通过将群运算应用于面部关键点坐标，计算对称性不变的表示。
• 通过在 Dn 变换下将关键点对齐到规范形式，提取对称感知特征。
• 该方法结合几何哈希与群作用，以识别对称配置。
• 在对称性增强的特征上使用标准机器学习模型（例如 SVM 或 CNN）进行分类。
• 该方法对旋转和反射具有不变性，从而提高了对姿态变化的鲁棒性。

实验结果

研究问题

• RQ1 面部关键点的二面体群对称性是否能提高人类情绪识别的准确性？
• RQ2 基于对称性的特征表示与传统几何或深度学习特征相比如何？
• RQ3 该方法在不同面部姿态和表情下的泛化程度如何？
• RQ4 对称性建模对噪声和遮挡的鲁棒性有何影响？
• RQ5 所提出的对称性框架能否扩展到具有对称数据结构的其他视觉任务？

主要发现

• 与基线方法相比，该方法在 RAF-DB 和 FER2013 数据集上显著提升了情绪识别准确性。
• 引入二面体群对称性使 top-1 准确率相比标准关键点方法提高了 5.2%。
• 对称性不变特征对人脸姿态变化和轻微遮挡表现出更高的鲁棒性。
• 在数据量有限的情况下，该方法优于传统的基于 CNN 的模型，表明其泛化能力更强。
• 使用群论对称性可减少过拟合，并在嵌入空间中提高特征紧凑性。
• 该方法在其他富含对称性的视觉任务（如手势识别和目标检测）中也表现出可迁移性。