[论文解读] Adversarial Graph Representation Adaptation for Cross-Domain Facial Expression Recognition

Yuan Xie, Tianshui Chen+3 more|arXiv (Cornell University)|Aug 3, 2020

Emotion and Mood Recognition参考文献 57被引用 4

一句话总结

该论文提出了一种新型框架——对抗性图表示自适应（Adversarial Graph Representation Adaptation, AGRA），通过统一图神经网络与对抗学习，实现跨域中整体与局部面部特征的联合自适应，以提升跨域面部表情识别性能。通过结构化图建模域内与域间关系，并利用消息传递机制优化域不变表示，AGRA在五个基准数据集上实现了66.13%的平均准确率，达到当前最先进水平。

ABSTRACT

Data inconsistency and bias are inevitable among different facial expression recognition (FER) datasets due to subjective annotating process and different collecting conditions. Recent works resort to adversarial mechanisms that learn domain-invariant features to mitigate domain shift. However, most of these works focus on holistic feature adaptation, and they ignore local features that are more transferable across different datasets. Moreover, local features carry more detailed and discriminative content for expression recognition, and thus integrating local features may enable fine-grained adaptation. In this work, we propose a novel Adversarial Graph Representation Adaptation (AGRA) framework that unifies graph representation propagation with adversarial learning for cross-domain holistic-local feature co-adaptation. To achieve this, we first build a graph to correlate holistic and local regions within each domain and another graph to correlate these regions across different domains. Then, we learn the per-class statistical distribution of each domain and extract holistic-local features from the input image to initialize the corresponding graph nodes. Finally, we introduce two stacked graph convolution networks to propagate holistic-local feature within each domain to explore their interaction and across different domains for holistic-local feature co-adaptation. In this way, the AGRA framework can adaptively learn fine-grained domain-invariant features and thus facilitate cross-domain expression recognition. We conduct extensive and fair experiments on several popular benchmarks and show that the proposed AGRA framework achieves superior performance over previous state-of-the-art methods.

研究动机与目标

• 解决因数据不一致与主观标注偏差导致的跨数据集面部表情识别中的域偏移问题。
• 克服现有对抗方法仅关注整体特征而忽略更具迁移性的局部特征的局限性。
• 通过建模域内与跨域中整体与局部特征之间的相互作用，提升跨域面部表情识别性能。
• 构建统一框架，通过基于图的消息传递与对抗自适应实现细粒度的域不变特征学习。
• 验证结构化图初始化与邻接矩阵联合优化对特征自适应效果的提升作用。

提出的方法

• 构建两个图：一个用于域内连接（同一域内整体与局部区域之间的连接），另一个用于域间连接（源域与目标域间对应区域之间的连接）。
• 使用通过面部关键点提取的整体图像特征与局部区域特征，以及从每个域中学习到的类别统计分布来初始化图节点。
• 采用两个堆叠的图卷积网络（GCNs）：一个用于域内消息传递以建模整体-局部特征交互，另一个用于域间消息传递以对齐跨域特征。
• 引入对抗训练，通过域判别器鼓励学习域不变的特征表示，从而最小化域间差异。
• 在训练过程中联合优化图的邻接矩阵，以学习指导有效消息传播的数据特定结构先验。
• 每十个周期进行迭代细化与特征聚类的重新聚类，以稳定训练并提升表示质量。

实验结果

研究问题

• RQ1 建模整体与局部面部特征之间的相关性是否能提升跨域面部表情识别中域不变表示的学习效果？
• RQ2 与仅基于整体特征的自适应方法相比，采用结构化图表示来建模域内与跨域特征关系是否能显著提升性能？
• RQ3 邻接矩阵中的先验知识（如人工定义 vs. 学习得到）对模型鲁棒性与准确率有何影响？
• RQ4 GCN层数与消息传递迭代次数如何影响特征细化过程，并避免过平滑问题？
• RQ5 在训练过程中联合优化邻接矩阵是否能带来更好的域对齐效果与跨数据集泛化能力？

主要发现

• AGRA在五个基准数据集（CK+、JAFFE、SFEW2.0、FER2013、ExpW）上实现了66.13%的平均准确率，优于当前最先进方法。
• 使用随机初始化的邻接矩阵（Ours RM）使平均准确率下降6.65%，凸显结构化先验知识的重要性。
• 在训练过程中固定邻接矩阵会使平均准确率从66.13%降至56.01%，表明图结构的联合学习可显著提升特征自适应能力。
• 将域内GCN设为2层、域间GCN设为1层时性能最优，因更深网络易导致特征过平滑与性能下降。
• 将邻接矩阵替换为全1矩阵（Ours OM）导致平均准确率下降3.32%，表明即使简单先验也优于均匀连接。
• 消融实验表明，迭代更新与周期性重聚类均不可或缺——仅使用其一分别导致性能下降2.50%与3.48%。