[论文解读] EXPERTNet Exigent Features Preservative Network for Facial Expression Recognition

Monu Verma, Jaspreet Kaur Bhui+2 more|arXiv (Cornell University)|Apr 14, 2019

Face and Expression Recognition被引用 6

一句话总结

该论文提出了一种名为 EXPERTNet 的新型卷积神经网络，用于面部表情识别，其采用一种称为显著特征（ExFeat）的模块，可选择性地仅保留最相关的空间和层次化特征。通过在可选层中使用多尺度卷积核（1×1、3×3、5×5、7×7），该网络增强了特征学习能力，同时保持了空间结构，在 CK+、MMI、DISFA 和 GEMEP-FERA 数据集上实现了最先进性能。

ABSTRACT

Facial expressions have essential cues to infer the humans state of mind, that conveys adequate information to understand individuals actual feelings. Thus, automatic facial expression recognition is an interesting and crucial task to interpret the humans cognitive state through the machine. In this paper, we proposed an Exigent Features Preservative Network (EXPERTNet), to describe the features of the facial expressions. The EXPERTNet extracts only pertinent features and neglect others by using exigent feature (ExFeat) block, mainly comprises of elective layer. Specifically, elective layer selects the desired edge variation features from the previous layer outcomes, which are generated by applying different sized filters as 1 x 1, 3 x 3, 5 x 5 and 7 x 7. Different sized filters aid to elicits both micro and high-level features that enhance the learnability of neurons. ExFeat block preserves the spatial structural information of the facial expression, which allows to discriminate between different classes of facial expressions. Visual representation of the proposed method over different facial expressions shows the learning capability of the neurons of different layers. Experimental and comparative analysis results over four comprehensive datasets CK+, MMI DISFA and GEMEP-FERA, ensures the better performance of the proposed network as compared to existing networks.

研究动机与目标

• 通过仅保留最相关的空间和层次化特征，提升面部表情识别性能。
• 通过引入选择性特征提取机制，解决卷积神经网络中无关特征噪声的问题。
• 通过结合多尺度卷积核，提升模型的学习能力和判别能力。
• 在特征学习过程中保持面部表情的空间结构完整性。
• 在多样化的、真实世界中的面部表情数据集上实现卓越性能。

提出的方法

• ExFeat 模块采用可选层，动态从并行的多种卷积核尺寸（1×1、3×3、5×5、7×7）中选择边缘变化特征。
• 每种卷积核尺寸捕捉不同层次的特征抽象——小卷积核捕捉微小特征，大卷积核捕捉高层模式。
• 所选特征被保留并融合，以维持空间结构并提升判别能力。
• 网络架构将 ExFeat 模块集成到深度卷积神经网络框架中，专为面部表情识别优化。
• 基于特征相关性进行特征选择，减少噪声并提升模型效率。
• 模型在多个基准数据集上使用标准优化技术进行端到端训练。

实验结果

研究问题

• RQ1 选择性特征提取机制是否能通过仅关注相关特征来提升面部表情识别的准确率？
• RQ2 多尺度卷积核在捕捉细微和高层面部表情模式方面发挥了何种作用？
• RQ3 保留空间结构在多大程度上能提升面部表情识别中的分类性能？
• RQ4 与标准卷积层相比，所提出的 ExFeat 模块在特征相关性和模型性能方面表现如何？
• RQ5 该网络在具有不同表情强度和图像质量的多样化数据集上是否具备良好的泛化能力？

主要发现

• EXPERTNet 在 CK+ 数据集上实现了最先进性能，其表情识别准确率优于以往方法。
• 在 MMI 数据集上，模型表现出优越的泛化能力和对人脸变化的鲁棒性。
• 在 DISFA 数据集上，网络实现了高准确率，表明其在自发性及细微表情识别方面表现强劲。
• 在 GEMEP-FERA 数据集上，EXPERTNet 尽管面临低分辨率和遮挡等挑战，仍保持了高水平性能。
• 消融实验表明，可选层和多尺度卷积核显著提升了特征相关性和模型准确率。
• 可视化结果表明，深层神经元学习到了与特定表情类别相关的判别性特征，验证了模型的学习能力。