[论文解读] A Systematic Evaluation of Domain Adaptation in Facial Expression Recognition.

Yan Kong, Varsha Suresh+2 more|arXiv (Cornell University)|Jun 29, 2021

Emotion and Mood Recognition参考文献 42被引用 5

一句话总结

本文通过在六个数据集（三个实验室环境和三个野外环境）上进行轮转迁移学习实验，系统评估了面部表情识别中的领域自适应问题，使用了最先进的CNN模型。研究发现，迁移性能在不同目标领域间表现不一致，微调方法效果最佳，多源训练可提升泛化能力，凸显了在实际部署中对FER模型鲁棒性进行更严格评估的必要性。

ABSTRACT

Facial Expression Recognition is a commercially important application, but one common limitation is that applications often require making predictions on out-of-sample distributions, where target images may have very different properties from the images that the model was trained on. How well, or badly, do these models do on unseen target domains? In this paper, we provide a systematic evaluation of domain adaptation in facial expression recognition. Using state-of-the-art transfer learning techniques and six commonly-used facial expression datasets (three collected in the lab and three in-the-wild), we conduct extensive round-robin experiments to examine the classification accuracies for a state-of-the-art CNN model. We also perform multi-source experiments where we examine a model's ability to transfer from multiple source datasets, including (i) within-setting (e.g., lab to lab), (ii) cross-setting (e.g., in-the-wild to lab), (iii) mixed-setting (e.g., lab and wild to lab) transfer learning experiments. We find sobering results that the accuracy of transfer learning is not high, and varies idiosyncratically with the target dataset, and to a lesser extent the source dataset. Generally, the best settings for transfer include fine-tuning the weights of a pre-trained model, and we find that training with more datasets, regardless of setting, improves transfer performance. We end with a discussion of the need for more -- and regular -- systematic investigations into the generalizability of FER models, especially for deployed applications.

研究动机与目标

• 评估面部表情识别（FER）模型在多样化、分布外数据集上的泛化性能。
• 研究当从源域迁移到目标域时，领域偏移如何影响分类准确率。
• 评估不同领域设置下迁移学习策略（包括微调和多源训练）的有效性。
• 基于源域和目标域数据集的特征，识别迁移性能的模式，特别是实验室环境与野外环境之间的差异。
• 倡导在实际应用中对FER模型泛化能力进行更系统、更常规的评估。

提出的方法

• 在六个面部表情识别数据集上进行轮转迁移学习实验：其中三个为受控实验室环境采集，三个为野外环境采集。
• 对在某一数据集上预训练的最先进CNN模型，应用其权重并在目标数据集上进行微调，以评估迁移性能。
• 通过在实验室和野外数据集组合上进行训练，实现多源迁移学习，随后在目标领域上进行测试。
• 在三种迁移设置下评估性能：同类型设置内迁移（如实验室到实验室）、跨类型设置迁移（如野外到实验室）以及混合设置迁移（如实验室与野外数据联合训练后迁移到实验室）。
• 使用标准指标（如分类准确率）比较不同源-目标组合下的模型性能。

实验结果

研究问题

• RQ1 在面部表情识别中，不同源-目标领域组合的迁移学习性能如何变化？
• RQ2 在跨领域FER中，微调与其他迁移学习策略相比，其相对有效性如何？
• RQ3 无论设置如何，对多个源数据集进行训练是否能提升对未见目标领域的迁移性能？
• RQ4 与实验室数据集相比，野外数据集在可迁移性和模型泛化方面表现如何？
• RQ5 基于数据集特征或领域相似性，迁移性能在多大程度上可预测？

主要发现

• 面部表情识别中的迁移学习性能不一致，且在不同目标数据集间差异显著，不存在在所有领域均表现优异的通用高准确率。
• 在所有测试设置中，对预训练CNN模型的权重进行微调可获得最佳迁移性能。
• 无论设置如何，对多个源数据集进行训练可提升迁移性能，表明数据多样性有助于提升泛化能力。
• 跨设置迁移（如野外到实验室）通常表现劣于同设置内迁移，表明领域偏移对准确率有严重影响。
• FER模型在未见目标领域的性能具有独特性，无法仅凭源数据集可靠预测。
• 本研究强调了迫切需要对FER模型泛化能力进行更系统、更常规的评估，以确保其在实际部署中的可靠性。