[论文解读] FAU, Facial Expressions, Valence and Arousal: A Multi-task Solution

Didan Deng, Zhaokang Chen+1 more|arXiv (Cornell University)|Feb 10, 2020

Emotion and Mood Recognition参考文献 7被引用 5

一句话总结

本文提出了一种统一的多任务学习框架，用于面部动作单元检测、表情分类和愉悦度-唤醒度估计。通过使用教师模型生成的软标签，采用两阶段蒸馏方法解决类别不平衡和标注不完整的问题，在所有三项任务上均取得了优于教师模型的性能，且通过模型集成进一步提升性能。

ABSTRACT

We train a unified model to perform three tasks: facial action unit detection, expression classification, and valence-arousal estimation. We address two main challenges of learning the three tasks. First, most existing datasets are highly imbalanced. Second, most existing datasets do not contain labels for all three tasks. To tackle the first challenge, we apply data balancing techniques to experimental datasets. To tackle the second challenge, we propose an algorithm for the multitask model to learn from missing (incomplete) labels. This algorithm has two steps. We first train a teacher model to perform all three tasks, where each instance is trained by the ground truth label of its corresponding task. Secondly, we refer to the outputs of the teacher model as the soft labels. We use the soft labels and the ground truth to train the student model. We find that most of the student models outperform their teacher model on all the three tasks. Finally, we use model ensembling to boost performance further on the three tasks.

研究动机与目标

• 开发一种统一的深度学习模型，联合执行面部动作单元检测、表情分类和愉悦度-唤醒度估计。
• 解决面部表情分析中常见数据高度不平衡的挑战。
• 在训练数据缺乏所有三项任务完整标注的情况下，实现有效的多任务学习。
• 通过教师-学生蒸馏框架结合软标签，提升所有三项任务的模型泛化能力和性能。
• 通过学生模型的集成进一步提升最终性能。

提出的方法

• 使用真实标签在所有三项任务上训练教师模型，其中每个样本仅使用其对应任务的标签进行训练。
• 从教师模型的预测结果中为所有任务生成软标签，即使某一任务的真实标签缺失亦可。
• 使用软标签和可用的真实标签，在多任务学习设置下训练学生模型。
• 应用数据平衡技术以缓解实验数据集中类别不平衡的问题。
• 实施两阶段训练流程：首先预训练教师模型，然后使用软标签将知识蒸馏到学生模型。
• 通过集成多个学生模型，进一步提升所有三项任务的性能。

实验结果

研究问题

• RQ1 在标注不完整的情况下，统一模型能否有效同时学习面部动作单元检测、表情分类和愉悦度-唤醒度估计？
• RQ2 与直接训练教师模型相比，使用教师模型生成的软标签进行知识蒸馏是否能提升所有三项任务的性能？
• RQ3 数据平衡技术在多大程度上能缓解面部表情数据集中因类别不平衡导致的性能下降？
• RQ4 与单一学生模型相比，模型集成是否能在所有三项任务上进一步提升性能？
• RQ5 通过软标签训练的学生模型是否能在所有三项任务上超越其教师模型？

主要发现

• 学生模型在所有三项任务上（面部动作单元检测、表情分类和愉悦度-唤醒度估计）均持续优于教师模型。
• 利用教师模型生成的软标签，即使某些任务缺少真实标签，也能实现有效的学习。
• 数据平衡技术显著提升了在类别不平衡数据集上的模型性能。
• 与单个学生模型相比，模型集成在所有三项任务上均带来了进一步的性能提升。
• 所提出的结合蒸馏的多任务框架在本研究使用的基准数据集上达到了最先进性能。