[论文解读] Semantic Relationships Guided Representation Learning for Facial Action Unit Recognition

Guanbin Li, Xin Zhu+3 more|arXiv (Cornell University)|Apr 22, 2019

Face recognition and analysis参考文献 28被引用 6

一句话总结

该论文提出了一种新颖的端到端框架 SRERL，通过门控图神经网络（GGNN）将面部动作单元（AU）语义关系的知识图谱整合到多尺度卷积神经网络（CNN）中，以增强特征表示。通过建模AU之间的共生与互斥关系，该方法在BP4D和DISFA基准上实现了最先进性能，AUC最高提升18.1%，F1-score最高提升4.0%。

ABSTRACT

Facial action unit (AU) recognition is a crucial task for facial expressions analysis and has attracted extensive attention in the field of artificial intelligence and computer vision. Existing works have either focused on designing or learning complex regional feature representations, or delved into various types of AU relationship modeling. Albeit with varying degrees of progress, it is still arduous for existing methods to handle complex situations. In this paper, we investigate how to integrate the semantic relationship propagation between AUs in a deep neural network framework to enhance the feature representation of facial regions, and propose an AU semantic relationship embedded representation learning (SRERL) framework. Specifically, by analyzing the symbiosis and mutual exclusion of AUs in various facial expressions, we organize the facial AUs in the form of structured knowledge-graph and integrate a Gated Graph Neural Network (GGNN) in a multi-scale CNN framework to propagate node information through the graph for generating enhanced AU representation. As the learned feature involves both the appearance characteristics and the AU relationship reasoning, the proposed model is more robust and can cope with more challenging cases, e.g., illumination change and partial occlusion. Extensive experiments on the two public benchmarks demonstrate that our method outperforms the previous work and achieves state of the art performance.

研究动机与目标

• 解决现有AU识别方法将AU视为独立单元、无法建模其之间复杂结构化关系的局限性。
• 通过将高阶AU关系融入特征学习，提升在光照变化和部分遮挡等挑战性条件下的鲁棒性。
• 通过将AU关系建模直接集成到特征表示流程中，实现端到端训练，避免后处理或孤立的基于规则的模块。
• 利用图神经网络的可微性和表达能力，实现对面部AU的结构化推理。
• 基于面部表情中观察到的解剖学和行为协同作用，构建AU关系的知识图谱。

提出的方法

• 该框架使用多尺度CNN从输入图像中提取分层的面部区域特征。
• 构建一个结构化的知识图谱，以表示基于面部表情中观察到的共现与互斥模式的AU之间语义关系。
• 将门控图神经网络（GGNN）集成到网络中，以在图上传播并优化节点（AU）表示，实现上下文推理。
• GGNN通过门控循环单元迭代更新节点特征，使模型能够通过消息传递学习AU之间的复杂依赖关系。
• 整个网络采用端到端方式进行训练，联合优化特征学习与AU关系推理。
• 通过在增强的、图正则化的特征上应用多标签分类头，完成最终的AU识别。

实验结果

研究问题

• RQ1 建模面部AU之间的结构化语义关系是否能提升在挑战性条件下AU识别的鲁棒性与准确性？
• RQ2 如何在可端到端训练的深度神经网络中有效集成AU关系？
• RQ3 使用可微图神经网络进行AU关系推理是否优于传统后处理或基于规则的方法？
• RQ4 同时结合外观特征与关系特征在标准AU识别基准上能在多大程度上提升性能？
• RQ5 AU关系的知识图谱能否捕捉真实面部表情中观察到的有意义协同与排斥关系？

主要发现

• 所提出的SRERL框架在BP4D数据集上达到最先进性能，F1-score相比第二名方法提升4.0%，AUC提升18.1%。
• 在DISFA数据集上，SRERL相比第二名方法F1-score提升2.3%，AUC提升28.4%。
• 与依赖手工特征和独立标签推理的线性SVM（LSVM）相比，SRERL在F1-score上提升27.6%，AUC提升41.9%。
• 与同样建模AU关系的DSIN相比，SRERL在BP4D上F1-score高出4.0%，在DISFA上高出2.3%，表明联合优化相比孤立关系建模具有优势。
• 与DRML和ROI相比，SRERL在BP4D上F1-score分别提升14.6%和6.5%，在DISFA上分别提升29.2%和7.4%。
• 消融实验证实，基于GGNN的图推理显著提升性能，验证了结构化AU关系建模的有效性。