[论文解读] Feature Decomposition and Reconstruction Learning for Effective Facial Expression Recognition

Delian Ruan, Yan Yan+4 more|arXiv (Cornell University)|Apr 12, 2021

Emotion and Mood Recognition参考文献 31被引用 11

一句话总结

该论文提出了一种名为特征分解与重构学习（FDRL）的新型深度学习框架，用于面部表情识别，该框架显式建模了共享的表情相似性与特定于表情的差异。通过将特征分解为与面部动作相关的潜在表征，并利用内部和跨特征关系模块进行重构，FDRL在RAF-DB数据集上实现了89.47%的最先进准确率，在SFEW数据集上实现了62.16%的准确率，展现出在细粒度表情区分方面的卓越性能。

ABSTRACT

In this paper, we propose a novel Feature Decomposition and Reconstruction Learning (FDRL) method for effective facial expression recognition. We view the expression information as the combination of the shared information (expression similarities) across different expressions and the unique information (expression-specific variations) for each expression. More specifically, FDRL mainly consists of two crucial networks: a Feature Decomposition Network (FDN) and a Feature Reconstruction Network (FRN). In particular, FDN first decomposes the basic features extracted from a backbone network into a set of facial action-aware latent features to model expression similarities. Then, FRN captures the intra-feature and inter-feature relationships for latent features to characterize expression-specific variations, and reconstructs the expression feature. To this end, two modules including an intra-feature relation modeling module and an inter-feature relation modeling module are developed in FRN. Experimental results on both the in-the-lab databases (including CK+, MMI, and Oulu-CASIA) and the in-the-wild databases (including RAF-DB and SFEW) show that the proposed FDRL method consistently achieves higher recognition accuracy than several state-of-the-art methods. This clearly highlights the benefit of feature decomposition and reconstruction for classifying expressions.

研究动机与目标

• 为解决由于不同表情之间面部动作高度相似而导致细微表情差异难以区分的挑战。
• 显式建模特征表征中的共享表情相似性与特定于表情的差异。
• 通过学习潜在特征中的内部与跨特征关系，提升细粒度表情识别性能。
• 开发一种统一的、端到端可训练的框架，以增强面部表情识别中的判别性特征学习。

提出的方法

• 特征分解网络（FDN）利用紧凑性损失强制共享表征学习，将主干网络提取的特征分解为与面部动作感知相关的潜在特征。
• 特征重构网络（FRN）使用两个模块重构原始表情特征：内部关系模块（Intra-RM）建模每个潜在特征内部的特征关系，跨特征关系模块（Inter-RM）建模潜在特征之间的关系。
• Intra-RM为每个潜在特征计算重要性权重（Intra-W），以突出判别性成分；而Inter-RM则捕捉跨特征依赖关系，以优化表征。
• 该框架将主干CNN、FDN、FRN和表情预测头整合为一个端到端训练方案。
• 在FDN中使用紧凑性损失，以鼓励学习到密集且紧凑的潜在特征表征，从而捕捉表情之间的相似性。
• 重构损失确保FRN能够学习恢复原始表情特征，从而保留判别性信息。

实验结果

研究问题

• RQ1 显式分解共享与独特表情特征是否能提升在细粒度表情类别上的识别性能？
• RQ2 潜在特征之间的内部与跨特征关系如何有助于区分细微的表情差异？
• RQ3 分别建模表情相似性与差异是否能提升在实验室环境和真实环境数据集上的泛化能力？
• RQ4 特征重构在多大程度上增强了面部表情识别中的判别性特征学习？

主要发现

• FDRL在RAF-DB数据集上实现了89.47%的识别准确率，优于现有最先进方法。
• 在SFEW数据集上，FDRL达到了62.16%的准确率，展现出在真实环境、具有挑战性的数据上的强大性能。
• t-SNE可视化结果表明，与基线模型相比，FDRL的特征表现出更好的类间可分性以及更小的类内方差。
• 平均Intra-W向量的分布显示，不同表情激活了不同的潜在特征，部分特征在不同表情中表现出相似权重，这验证了引入Inter-RM的必要性。
• 消融实验表明，FDN与FRN，尤其是Intra-RM与Inter-RM的组合，对性能提升至关重要。
• 完整FDRL模型（整合主干网络、FDN与FRN）实现了最佳性能，证明了联合分解与重构学习范式的有效性。