[论文解读] Dynamic Multi-Task Learning for Face Recognition with Facial Expression

Zuheng Ming, Junshi Xia+3 more|arXiv (Cornell University)|Nov 8, 2019

Face recognition and analysis参考文献 41被引用 23

一句话总结

该论文提出了一种用于人脸识别与表情识别的动态多任务学习框架，通过在训练过程中使用Softmax层自动调整任务权重，消除了对超参数的依赖。该方法在两项任务上均提升了性能——在CK+数据集上实现99.00%的人脸验证准确率，在表情识别任务上达到99.50%的准确率，优于静态和朴素动态基线方法。

ABSTRACT

Benefiting from the joint learning of the multiple tasks in the deep multi-task networks, many applications have shown the promising performance comparing to single-task learning. However, the performance of multi-task learning framework is highly dependant on the relative weights of the tasks. How to assign the weight of each task is a critical issue in the multi-task learning. Instead of tuning the weights manually which is exhausted and time-consuming, in this paper we propose an approach which can dynamically adapt the weights of the tasks according to the difficulty for training the task. Specifically, the proposed method does not introduce the hyperparameters and the simple structure allows the other multi-task deep learning networks can easily realize or reproduce this method. We demonstrate our approach for face recognition with facial expression and facial expression recognition from a single input image based on a deep multi-task learning Conventional Neural Networks (CNNs). Both the theoretical analysis and the experimental results demonstrate the effectiveness of the proposed dynamic multi-task learning method. This multi-task learning with dynamic weights also boosts of the performance on the different tasks comparing to the state-of-art methods with single-task learning.

研究动机与目标

• 解决多任务深度学习中手动调节任务权重所面临的挑战，该过程耗时且非最优。
• 通过联合学习相关任务之间的共享特征，提升在带表情的人脸识别任务中的性能。
• 克服固定或手动设定权重的局限性，这些方法无法在训练过程中根据任务难度自适应调整。
• 在不引入额外超参数的前提下，实现高效且有效的多任务训练。
• 通过在共享特征与任务特定特征下应用于人脸识别与表情识别，证明该方法的泛化能力。

提出的方法

• 在共享特征层的末端引入Softmax层，根据训练难度动态生成任务权重。
• 将Softmax层的输出用作各任务的自适应权重，使网络能够更关注困难任务。
• 通过直接从网络激活值推导任务权重，避免使用超参数，与需要不确定性系数或解析解的方法形成对比。
• 使用组合损失函数端到端训练多任务网络，各任务的损失根据动态Softmax输出进行加权。
• 确保方法轻量化，并可轻松集成到现有多任务深度学习架构（如CNN）中。
• 将该框架应用于从单张输入图像中同时训练人脸识别与表情识别。

实验结果

研究问题

• RQ1 如何在训练过程中动态调整多任务学习中的任务权重以提升性能？
• RQ2 无超参数方法是否能在多任务人脸识别与表情识别中超越静态或手动调参的权重策略？
• RQ3 与固定或朴素动态方法相比，动态加权是否能带来更好的泛化能力与更快的困难任务收敛速度？
• RQ4 联合学习人脸识别与表情识别在多大程度上能提升两项任务的性能？
• RQ5 所提出的方法是否能有效应用于具有不同表情变化与图像质量差异的真实世界数据集？

主要发现

• 所提出的动态多任务学习方法在CK+数据集上实现了99.00%的人脸验证准确率，优于静态多任务学习（98.50%）和微调后的单任务模型（98.50%）。
• 在表情识别任务中，该方法在CK+上达到99.50%的准确率，优于次佳方法（静态MTL为99.11%）。
• 在OuluCASIA数据集上，该方法在表情识别任务中达到89.60%的准确率，与最佳基线持平，但表现出更强的鲁棒性与适应性。
• 该方法显著提升了在带表情人脸识别任务中的性能：单任务模型在LFW上准确率约为99%，在CK+上下降至约92%，而通过动态MTL可恢复至99.00%。
• 动态加权机制使网络能更专注于困难任务，相较于朴素动态与静态基线，性能表现更优。
• 该方法在不同数据集与任务中均表现有效，无需额外超参数，在人脸识别与表情识别任务中均实现了稳定提升。