[论文解读] Graph-based Facial Affect Analysis: A Review of Methods, Applications and Challenges.

Yang Liu, Xingming Zhang+4 more|arXiv (Cornell University)|Mar 29, 2021

Emotion and Mood Recognition参考文献 179被引用 4

一句话总结

本文首次全面综述了基于图的面部情感分析（FAA），提出了一种利用图结构建模面部组件之间语义关系的框架，以提升情感识别性能。该综述系统回顾了图构建方法、通过传统模型与深度学习模型（尤其是图神经网络）进行关系推理的方法，并对当前最先进方法进行了基准测试，突出了该领域在性能提升方面的进展以及尚未解决的挑战。

ABSTRACT

Facial affect analysis (FAA) using visual signals is important in human-computer interaction. Early methods focus on extracting appearance and geometry features associated with human affects, while ignoring the latent semantic information among individual facial changes, leading to limited performance and generalization. Recent work attempts to establish a graph-based representation to model these semantic relationships and develop frameworks to leverage them for various FAA tasks. In this paper, we provide a comprehensive review of graph-based FAA, including the evolution of algorithms and their applications. First, the FAA background knowledge is introduced, especially on the role of the graph. We then discuss approaches that are widely used for graph-based affective representation in literature and show a trend towards graph construction. For the relational reasoning in graph-based FAA, existing studies are categorized according to their usage of traditional methods or deep models, with a special emphasis on the latest graph neural networks. Performance comparisons of the state-of-the-art graph-based FAA methods are also summarized. Finally, we discuss the challenges and potential directions. As far as we know, this is the first survey of graph-based FAA methods. Our findings can serve as a reference for future research in this field.

研究动机与目标

• 系统性回顾基于图的面部情感分析（FAA）方法，以解决传统特征提取方法的局限性。
• 分析用于建模面部组件之间语义关系的图构建技术的演进过程。
• 对FAA中的关系推理方法进行分类与评估，重点关注传统模型与深度学习方法，尤其是图神经网络（GNNs）。
• 总结最先进基于图的FAA方法的性能对比，并识别关键趋势。
• 概述基于图的FAA中仍存在的开放性挑战及未来研究方向。

提出的方法

• 本文采用结构化文献综述方法，分析基于图的FAA方法在算法开发、图构建和关系推理方面的进展。
• 根据面部关键点位置、语义面部区域或学习表征对图构建方法进行分类，以建模面部动态变化。
• 将关系推理方法分为两类进行考察：传统方法（如图匹配、核方法）与深度学习模型，尤其是图神经网络（GNNs）。
• 通过标准化基准评估最先进方法，比较其在不同数据集和任务类型下的性能表现。
• 核心组件包括图卷积网络（GCNs）、图注意力网络（GATs）以及用于面部图中特征传播的消息传递机制。
• 该框架强调对面部变化之间潜在语义关系的建模，以提升情感识别性能，超越仅依赖外观与几何特征的局限。

实验结果

研究问题

• RQ1 基于图的表示在面部情感分析中如何演化，以克服传统基于外观与几何的方法的局限性？
• RQ2 从面部数据构建图的主要方法有哪些？这些方法如何影响情感识别的性能？
• RQ3 在基于图的FAA框架中，传统方法与基于深度学习的关系推理方法相比有何异同？
• RQ4 最先进基于图的FAA模型相较于非图基线模型，在性能上实现了哪些关键提升？
• RQ5 在基于图的FAA中仍存在哪些主要挑战？未来最具前景的研究方向是什么？

主要发现

• 基于图的FAA方法显著优于传统基于外观与几何的方法，因其能有效建模面部组件之间的潜在语义关系。
• 观察到一种明确趋势：学习型图构建方法日益普遍，其中注意力机制与可学习嵌入显著提升了图表示的质量。
• 图神经网络（GNNs），特别是图卷积网络（GCNs）与图注意力网络（GATs），已成为FAA中关系推理的主导架构，实现了高效的特征传播与聚合。
• 性能对比显示，在多个基准数据集上，基于图的框架均一致提升了情感识别的准确率。
• 尽管已取得进展，但在跨多样化数据集的泛化能力、学习图的可解释性，以及对光照、姿态与遮挡变化的鲁棒性方面，仍存在显著挑战。