[论文解读] Coding Facial Expressions with Gabor Wavelets (IVC Special Issue)

Michael J. Lyons, Miyuki Kamachi+1 more|arXiv (Cornell University)|Sep 13, 2020

Face and Expression Recognition参考文献 19被引用 41

一句话总结

该论文使用多尺度、多方向的 Gabor 小波银行对面部表情进行编码，且表明该表示与人类对表情的语义评分相关，提示在类别情感表示与维度表示之间存在桥梁。

ABSTRACT

We present a method for extracting information about facial expressions from digital images. The method codes facial expression images using a multi-orientation, multi-resolution set of Gabor filters that are topographically ordered and approximately aligned with the face. A similarity space derived from this code is compared with one derived from semantic ratings of the images by human observers. Interestingly the low-dimensional structure of the image-derived similarity space shares organizational features with the circumplex model of affect, suggesting a bridge between categorical and dimensional representations of facial expression. Our results also indicate that it would be possible to construct a facial expression classifier based on a topographically-linked multi-orientation, multi-resolution Gabor coding of the facial images at the input stage. The significant degree of psychological plausibility exhibited by the proposed code may also be useful in the design of human-computer interfaces. <strong>n.b.</strong> <strong>Facial images in this article are subject to specific terms of use and may not be reused without permission, regardless of the license applied to the document as a whole.</strong>

研究动机与目标

• 为人机交互中的自动面部表情处理提供动机。
• 提出一个与面部图像拓扑对齐的 Gabor 小波编码方案。
• 通过将基于图像的相似性与人类语义评分进行比较来评估 Gabor 编码的保真性。

提出的方法

• 对每张 256x256 图像进行卷积，使用一个多分辨率、多方向的 Gabor 滤波器组（三个空间频率；六个方向）。
• 将偶响应/奇响应合并为幅度 R_k；减去余弦滤波的贡献以降低光照依赖性；通过对应面部点的向量的归一化点积得到相似性度量。
• 在 34 节点网格上表示面部几何；在对应点处取平均值来计算网格级相似度。
• 将图像推导的 Gabor 相似性与来自 Likert 量表判断的人类基本表情语义评分进行比较。
• 使用非度量多维尺度分析将 Gabor 与语义相似性数据嵌入到两个维度，以探究结构。

实验结果

研究问题

• RQ1 基于 Gabor 的面部表情表示是否产生的相似性结构与人类对情感的语义判断一致？
• RQ2 Gabor 表示是否能揭示面部表情的低维组织（例如圆环模型）与心理学模型的相似之处？
• RQ3 Gabor 代码对非纯粬表达与光照变化是否鲁棒，是否有助于分类器设计？
• RQ4 基于 Gabor 的相似性与基于几何的特征点位移控制之间的比较如何？

主要发现

• 基于 Gabor 的相似性与人类语义评分显著相关，当包含恐惧时平均 Spearman 相关约为 0.568，排除恐惧后为 0.679。
• 几何基准控制的平均相关性较低（包含恐惧为 0.366；排除恐惧为 0.462）。
• nMDS 显示一个低维结构，Gabor 编码与语义数据聚类为基本表情类别，存在一个大致将愉快与不愉快及唤醒相关维度分离的轴线。
• Gabor 编码在匹配人类判断方面优于仅几何方法，支持其在面部表情编码中的心理学可行性。
• 恐惧表情变异性较高，在某些比较中降低了相关强度，暗示姿态/识别对恐惧的挑战。