[论文解读] A Multi-task Mean Teacher for Semi-supervised Facial Affective Behavior Analysis
本文提出了一种用于半监督面部情感行为分析的多任务均值教师框架，通过学生-教师蒸馏设置利用未标注数据，联合学习三种情感表征（效价、唤醒度和动作单元）。该方法在 ABAW3 竞赛中取得最先进性能，分别在两个赛道中排名第四，在第三个赛道中排名第六，展现出在标注数据不完整时的鲁棒性。
Affective Behavior Analysis is an important part in human-computer interaction. Existing multi-task affective behavior recognition methods suffer from the problem of incomplete labeled datasets. To tackle this problem, this paper presents a semi-supervised model with a mean teacher framework to leverage additional unlabeled data. To be specific, a multi-task model is proposed to learn three different kinds of facial affective representations simultaneously. After that, the proposed model is assigned to be student and teacher networks. When training with unlabeled data, the teacher network is employed to predict pseudo labels for student network training, which allows it to learn from unlabeled data. Experimental results showed that our proposed method achieved much better performance than baseline model and ranked 4th in both competition track 1 and track 2, and 6th in track 3, which verifies that the proposed network can effectively learn from incomplete datasets.
研究动机与目标
- 解决面部情感行为分析中标注数据有限的挑战。
- 通过利用丰富的未标注面部数据提升模型泛化能力。
- 开发一种多任务学习框架，联合预测效价、唤醒度和动作单元。
- 整合均值教师训练范式以稳定训练并提升鲁棒性。
- 在基准情感行为数据集上实现半监督设置下的高性能表现。
提出的方法
- 设计了一个多任务深度神经网络，用于同时预测三种情感表征：效价、唤醒度和动作单元。
- 该模型采用学生-教师蒸馏框架，其中教师网络为未标注数据生成伪标签。
- 教师网络是学生网络权重的指数移动平均，确保训练过程中预测的稳定性。
- 在训练过程中，学生网络同时使用标注数据和伪标签化的未标注数据进行优化。
- 损失函数结合了标注数据上的监督交叉熵损失和未标注数据上的一致性正则化损失。
- 该框架实现了从教师到学生的有效知识迁移，提升了在有限标注下的表征学习能力。
实验结果
研究问题
- RQ1多任务学习框架能否提升面部情感行为分析的表征学习能力？
- RQ2在半监督设置下，未标注面部数据能否被有效利用？
- RQ3通过均值教师进行知识蒸馏是否能提升在有限标注数据下的性能？
- RQ4联合预测效价、唤醒度和动作单元能否增强模型泛化能力？
- RQ5所提出方法在基准数据集上与最先进方法相比表现如何？
主要发现
- 所提方法在 ABAW3 竞赛的 Track 1 和 Track 2 中均获得第四名。
- 在 ABAW3 竞赛的 Track 3 中排名第六，表明其在多样化评估设置下具备强大的泛化能力。
- 该模型显著优于基线模型，尤其在低监督设置下表现突出。
- 教师网络生成的伪标签有效提升了未标注数据的性能，证实了均值教师策略的有效性。
- 多任务学习设置增强了特征表征学习，从而在所有情感行为预测任务中均取得性能提升。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。