[论文解读] Facial Affect Recognition in the Wild Using Multi-Task Learning Convolutional Network

Zihang Zhang, Jianping Gu|arXiv (Cornell University)|Feb 3, 2020

Emotion and Mood Recognition参考文献 11被引用 7

一句话总结

该论文提出MTANet，一种基于SENet-50的多任务卷积神经网络，利用Aff-Wild2数据集联合回归愉悦度与唤醒度、检测面部动作单元（AUs）并分类七种基本情绪。通过采用硬参数共享和注意力机制，MTANet在愉悦度上达到0.28的CCC，在唤醒度上达到0.34的CCC，AU检测的F1-score为0.427，分类情绪的准确率为0.32。

ABSTRACT

This paper presents a neural network based method Multi-Task Affect Net(MTANet) submitted to the Affective Behavior Analysis in-the-Wild Challenge in FG2020. This method is a multi-task network and based on SE-ResNet modules. By utilizing multi-task learning, this network can estimate and recognize three quantified affective models: valence and arousal, action units, and seven basic emotions simultaneously. MTANet achieve Concordance Correlation Coefficient(CCC) rates of 0.28 and 0.34 for valence and arousal, F1-score of 0.427 and 0.32 for AUs detection and categorical emotion classification.

研究动机与目标

• 开发一种深度学习模型，能够在非受限、真实世界环境下，同时估计维度化情感（愉悦度与唤醒度）、检测面部动作单元（AUs）并分类基本情绪。
• 通过多任务学习提升野外环境下的情感识别性能，其中跨任务共享表示可增强特征学习与泛化能力。
• 集成通道注意力（SE-Net）与多头注意力机制，以提升面部情感识别中的特征表示质量。
• 在大规模、动态且完全标注的Aff-Wild2数据集上评估模型，该数据集支持多模态与多任务学习。
• 证明联合学习多个情感任务可提升所有单个任务的性能，优于单任务基线模型。

提出的方法

• MTANet采用SENet-50作为共享主干网络，从对齐的112×112人脸图像中提取2048维特征，随后通过平均池化与最大池化、Dropout及ReLU进行特征优化。
• 采用硬参数共享编码器，使三个任务（愉悦度/唤醒度回归、AUs多标签分类、基本情绪分类）共享特征。
• 解码器由全连接层构成，输出维度分别为2（愉悦度与唤醒度）、8（八个AUs）和7（基本情绪）。
• 损失函数包括：情绪分类使用交叉熵损失，AU检测使用二元交叉熵损失，愉悦度与唤醒度回归使用组内相关系数（CCC）损失。
• 采用同方差不确定性加权的总损失，端到端学习任务特定损失权重，以平衡多任务优化。
• 模型使用Adam进行训练，并通过SGD进行微调，采用在VGGFace2上预训练的SENet-50，最终在Aff-Wild2验证集上进行评估。

实验结果

研究问题

• RQ1 多任务深度学习框架是否能联合提升野外环境下维度化、基于FACS与分类化情感模型的性能？
• RQ2 通道注意力机制（SE-Net）的集成如何在非受限条件下提升面部情感识别中的特征表示？
• RQ3 在多个情感任务间采用硬参数共享是否能带来优于单任务基线的泛化能力与性能提升？
• RQ4 基于不确定性的损失加权多任务学习在异质性情感任务上，是否能有效提升收敛性与性能？
• RQ5 在Aff-Wild2基准上，所提出的MTANet与现有方法相比，在CCC、F1-score与分类准确率方面表现如何？

主要发现

• MTANet在Aff-Wild2验证集上对愉悦度的组内相关系数（CCC）达到0.28，对唤醒度的CCC达到0.34，优于基线方法。
• 模型在AU检测任务中获得0.427的F1-score，在基本情绪分类任务中获得0.32的准确率，展现出在多标签与多分类任务中的优异性能。
• 在测试的骨干网络中，SENet-50表现最佳，其CCC与F1-score均高于ResNext-50及带有CBAM的ResNext-50。
• 注意力机制（SE-Net）的集成显著提升了特征表示质量，表现为相较于无注意力基线模型，性能持续提升。
• 采用不确定性加权损失进行微调后，性能优于简单的损失相加方法，表明任务平衡更加有效。
• 更深的线性头设计未能提升性能，表明当前模型架构已针对该任务实现最优配置。