[论文解读] Cross-Centroid Ripple Pattern for Facial Expression Recognition

Monu Verma, Prafulla Saxena+2 more|arXiv (Cornell University)|Jan 16, 2022

Emotion and Mood Recognition被引用 5

一句话总结

本文提出了一种新型面部表情识别特征描述符——交叉质心涟漪模式（CRIP），通过建模两个半径处涟漪之间的交叉质心关系，捕捉宏观与微观结构变化。通过整合梯度信息与子区域平均处理，CRIP增强了对姿态、光照、噪声及自发性表情的鲁棒性，在七组多样化的数据集上于复杂条件下实现了最先进水平的准确率。

ABSTRACT

In this paper, we propose a new feature descriptor Cross-Centroid Ripple Pattern (CRIP) for facial expression recognition. CRIP encodes the transitional pattern of a facial expression by incorporating cross-centroid relationship between two ripples located at radius r1 and r2 respectively. These ripples are generated by dividing the local neighborhood region into subregions. Thus, CRIP has ability to preserve macro and micro structural variations in an extensive region, which enables it to deal with side views and spontaneous expressions. Furthermore, gradient information between cross centroid ripples provides strenght to captures prominent edge features in active patches: eyes, nose and mouth, that define the disparities between different facial expressions. Cross centroid information also provides robustness to irregular illumination. Moreover, CRIP utilizes the averaging behavior of pixels at subregions that yields robustness to deal with noisy conditions. The performance of proposed descriptor is evaluated on seven comprehensive expression datasets consisting of challenging conditions such as age, pose, ethnicity and illumination variations. The experimental results show that our descriptor consistently achieved better accuracy rate as compared to existing state-of-art approaches.

研究动机与目标

• 解决现有基于局部二值模式的方法在处理姿态变化、光照变化及自发性面部表情方面的局限性。
• 开发一种能够捕捉广泛面部区域中宏观与微观结构变化的特征描述符。
• 增强关键面部区域（眼睛、鼻子和嘴巴）的边缘特征检测能力，这些区域对面部表情区分至关重要。
• 通过子区域平均与基于梯度的编码，提升对噪声与光照不规则性的鲁棒性。
• 在年龄、种族与面部姿态存在差异的多样化数据集上实现一致的性能表现。

提出的方法

• CRIP在局部面部邻域内生成两个半径为r1和r2的涟漪，将每个涟漪划分为子区域，以捕捉多尺度结构模式。
• 计算涟漪之间的交叉质心关系，以建模不同空间尺度间的过渡模式。
• 利用交叉质心涟漪之间的梯度信息，突出活跃面部区域中的显著边缘特征。
• 对像素值应用子区域平均处理，以增强在不同光照条件下的噪声鲁棒性与稳定性。
• 通过组合空间、梯度与质心编码，形成最终的描述符，实现对表情的全面表征。
• 该方法设计为对轻微几何失真具有不变性，并在多样化面部构型下均具有效性。

实验结果

研究问题

• RQ1 一种建模多尺度涟漪之间交叉质心关系的特征描述符，是否能提升在姿态与表情变化下的识别性能？
• RQ2 在涟漪之间引入梯度信息，能在多大程度上增强关键面部区域的边缘特征检测能力？
• RQ3 CRIP中的子区域平均处理在多大程度上提升了对噪声与光照变化的鲁棒性？
• RQ4 CRIP是否在包含多样化人口统计与环境差异的数据集上优于现有最先进方法？
• RQ5 CRIP能否有效捕捉面部表情中的宏观与微观结构变化，从而提升泛化能力？

主要发现

• CRIP在七个基准面部表情数据集上实现了卓越的准确率，且在复杂条件下持续优于最先进方法。
• 由于子区域平均与基于梯度的编码，该描述符在光照变化下表现出强大的鲁棒性。
• CRIP有效捕捉了眼睛、鼻子和嘴巴等面部区域的微结构细节，这些细节对面部表情区分至关重要。
• 该方法在侧视图与自发性表情样本上表现出更优性能，表明其对非正面对姿态的泛化能力增强。
• 交叉质心关系机制实现了对跨空间尺度过渡模式的更好建模，从而提升了判别能力。
• 定量结果证实，CRIP在包含年龄、种族与姿态多样性的数据集上均保持一致的优越性。