[论文解读] Multi-task, multi-label and multi-domain learning with residual convolutional networks for emotion recognition

Gérard Pons, David Masip Rodó|arXiv (Cornell University)|Feb 19, 2018

Emotion and Mood Recognition参考文献 34被引用 41

一句话总结

本文提出了一种选择性联合多任务学习（SJMT）框架，通过使用数据集层面的选择性 sigmoid 交叉熵损失，在跨多个任务、标签和数据集训练单一 CNN，从而在情感和 AU 识别方面优于单任务和经典多任务基线。

ABSTRACT

Automated emotion recognition in the wild from facial images remains a challenging problem. Although recent advances in Deep Learning have supposed a significant breakthrough in this topic, strong changes in pose, orientation and point of view severely harm current approaches. In addition, the acquisition of labeled datasets is costly, and current state-of-the-art deep learning algorithms cannot model all the aforementioned difficulties. In this paper, we propose to apply a multi-task learning loss function to share a common feature representation with other related tasks. Particularly we show that emotion recognition benefits from jointly learning a model with a detector of facial Action Units (collective muscle movements). The proposed loss function addresses the problem of learning multiple tasks with heterogeneously labeled data, improving previous multi-task approaches. We validate the proposal using two datasets acquired in non controlled environments, and an application to predict compound facial emotion expressions.

研究动机与目标

• 激励野外情感识别及其数据稀缺问题。
• 引入一个面向情感与 AU 检测的多任务、多标签、跨域学习框架。
• 提出一种数据集层面的选择性 sigmoid 交叉熵损失，以处理部分标注数据。
• 证明带残差网络的 SJMT 在多个数据集上优于单任务和经典多任务基线。

提出的方法

• 采用基于 ResNet 的 CNN 架构，在任务之间共享通用特征表示。
• 引入一个数据集层面的选择性 sigmoid 交叉熵损失，处理跨数据集的部分标注数据。
• 在情感识别（离散七类）和 AU 检测（多标签）上进行联合训练，使用非同质标签空间。
• 与单任务 CNN 和具有独立输出头的经典多任务学习进行比较。
• 在 SFEW（情感）和 EmotioNet（AU）上进行评估，并对 CK+ 子集进行超参数调优。

实验结果

研究问题

• RQ1 数据集层面的选择性联合损失是否可以提升情感与 AU 识别的多任务、多标签、跨域学习？
• RQ2 在野外情感数据集上，SJMT 是否优于传统多任务学习和单任务网络？
• RQ3 联合学习在缺少 AU 标注的图像上能在多大程度上实现可靠的 AU 推断？
• RQ4 该方法在复合情感识别任务上的表现如何？

主要发现

方法	网络	SFEW（情感）	EmotioNet（AU）
Multi-task	ResNet-32	39.4%	93.7%
Multi-task	ResNet-110	40.3%	93.6%
SJMT	ResNet-32	40.6%	93.5%
SJMT	ResNet-110	45.9%	93.9%

• 采用 ResNet-110 的 SJMT 在所评估的数据集上实现了最佳的情感与 AU 识别（SFEW 的情感为 45.9%，EmotioNet 的 AU 为 93.9%）。
• SJMT 通常优于经典多任务方法和单任务网络，其中 ResNet-110 取得了最强的情感与 AU 结果。
• 该方法能够从情感标注的图像中获得一致的 AU 推断，通过 AU 预测与预测情感对齐来证明（每种情感的平均 AU 分数在下方显示）。
• 复合情感识别从联合学习中受益，SJMT 在若干复合类别上显著优于单任务方法（如生气地厌恶、恐惧地生气、开心地厌恶）。
• 在各项实验中，所提出的损失函数有效处理跨数据集的部分标注数据，实现在不惩罚未标注任务的前提下的共享学习。