[论文解读] MER-GCN: Micro Expression Recognition Based on Relation Modeling with Graph Convolutional Network

Ling Lo, Hongxia Xie+2 more|arXiv (Cornell University)|Apr 19, 2020

Emotion and Mood Recognition参考文献 26被引用 10

一句话总结

该论文提出MER-GCN，一种端到端的微表情识别框架，结合3D卷积神经网络（3D ConvNets）进行时空特征提取与图卷积神经网络（GCN），以建模动作单元（AUs）之间的依赖关系。通过利用AU级别的关系，该方法在CASME II数据集上采用k折交叉验证，实现了58.82%的最先进准确率，优于现有的基于CNN的方法。

ABSTRACT

Micro-Expression (ME) is the spontaneous, involuntary movement of a face that can reveal the true feeling. Recently, increasing researches have paid attention to this field combing deep learning techniques. Action units (AUs) are the fundamental actions reflecting the facial muscle movements and AU detection has been adopted by many researches to classify facial expressions. However, the time-consuming annotation process makes it difficult to correlate the combinations of AUs to specific emotion classes. Inspired by the nodes relationship building Graph Convolutional Networks (GCN), we propose an end-to-end AU-oriented graph classification network, namely MER-GCN, which uses 3D ConvNets to extract AU features and applies GCN layers to discover the dependency laying between AU nodes for ME categorization. To our best knowledge, this work is the first end-to-end architecture for Micro-Expression Recognition (MER) using AUs based GCN. The experimental results show that our approach outperforms CNN-based MER networks.

研究动机与目标

• 解决微表情数据集有限且存在偏差，以及情绪分类中标签偏差的问题。
• 通过将动作单元（AUs）作为中间表示，减少对直接情绪类别预测的依赖。
• 建模面部AUs之间复杂且隐藏的关系，以提升微表情识别性能。
• 开发一种基于图关系建模的端到端、以AU为中心的深度学习架构，用于微表情识别（MER）。
• 证明图卷积网络（GCN）在捕捉细微面部表情分类中AU依赖关系方面的有效性。

提出的方法

• 使用3D卷积神经网络从视频片段中提取时空特征，捕捉运动与外观线索。
• 识别动作单元（AU）区域，并将其嵌入为图中的节点，边表示解剖学和功能关系。
• 应用图卷积神经网络（GCN）建模AU节点之间的依赖关系，学习高阶关系。
• 通过点积操作融合3D-CNN与GCN的特征表示，以增强分类性能。
• 使用全连接层将最终分类结果输出为微表情类别。
• 采用两种交叉验证策略——k折交叉验证与留一被试者验证（LOSO），以评估模型鲁棒性并缓解被试者偏差。

实验结果

研究问题

• RQ1 与标准CNN相比，基于图的AU关系建模是否能提升微表情识别的准确率？
• RQ2 与直接情绪分类相比，端到端的AU导向架构是否能减少MER中的标签偏差？
• RQ3 GCN-based的AU关系建模如何增强对细微面部表情的特征表示？
• RQ4 在类别不平衡的MER数据集中，交叉验证策略的选择（k折 vs. LOSO）在多大程度上影响性能？
• RQ5 GCN能否有效捕捉数据中未显式标注的AU之间的隐藏依赖关系？

主要发现

• 在k折交叉验证中，MER-GCN的测试准确率达到58.82%，优于最佳基线3D-CNN模型（54.05%）。
• 在留一被试者验证（LOSO）中，MER-GCN的准确率为42.71%，超过3D-CNN基线模型的42.03%。
• 预训练的3D-CNN模型表现较差（k折为52.37%，LOSO为39.64%），表明从Kinetics到CASME II存在领域偏移。
• GCN带来的性能提升表明，建模AU依赖关系可显著提升MER性能，超越仅依赖时空特征学习的效果。
• 结果表明，CASME II数据集中的类别不平衡导致LOSO验证中偏差更高，影响泛化能力。
• 本研究证实，通过GCN进行AU级关系建模是克服当前MER系统局限性的有前景方向。