[论文解读] ComboLoss for Facial Attractiveness Analysis with Squeeze-and-Excitation Networks

Lu Xu, Jinhai Xiang|arXiv (Cornell University)|Oct 21, 2020

Face recognition and analysis参考文献 21被引用 8

一句话总结

本文提出ComboLoss，一种新颖的多组件损失函数，结合L1回归损失、加权交叉熵分类损失和期望损失，以提升面部吸引力预测性能。通过使用ComboLoss训练SEResNeXt50网络，该方法在SCUT-FBP、HotOrNot和SCUT-FBP5500数据集上达到最先进性能，相较于先前方法，皮尔逊相关系数（PC）分别提升1.13%、2.1%和0.57%，且参数增加可忽略不计。

ABSTRACT

Loss function is crucial for model training and feature representation learning, conventional models usually regard facial attractiveness recognition task as a regression problem, and adopt MSE loss or Huber variant loss as supervision to train a deep convolutional neural network (CNN) to predict facial attractiveness score. Little work has been done to systematically compare the performance of diverse loss functions. In this paper, we firstly systematically analyze model performance under diverse loss functions. Then a novel loss function named ComboLoss is proposed to guide the SEResNeXt50 network. The proposed method achieves state-of-the-art performance on SCUT-FBP, HotOrNot and SCUT-FBP5500 datasets with an improvement of 1.13%, 2.1% and 0.57% compared with prior arts, respectively. Code and models are available at https://github.com/lucasxlu/ComboLoss.git.

研究动机与目标

• 系统评估不同损失函数对基于深度卷积神经网络的面部吸引力预测的影响。
• 开发一种轻量化但高效的损失函数，以增强特征学习，而无需增加复杂子网络。
• 通过同时利用分类和回归信号，提升面部吸引力回归性能。
• 在不依赖预训练或复杂架构的前提下，实现在基准数据集上的最先进性能。

提出的方法

• ComboLoss结合三种损失组件：用于直接分数预测的L1回归损失，用于区分有吸引力与无吸引力人脸的加权交叉熵分类损失，以及用于建模每类平均预测的期望损失。
• 分类头添加在SEResNeXt50的最终层之前，以实现回归与分类分支之间的梯度流动。
• 采用L1损失而非MSE，以降低面部吸引力分数预测中对异常值的敏感性。
• 在交叉熵损失中优化类别权重，以处理吸引力评分中的类别不平衡问题。
• 联合损失在训练过程中端到端最小化，使网络能够学习到更鲁棒且更具判别性的特征。
• 该方法应用于SEResNeXt50，无需额外子网络，参数增加不足0.037%。

实验结果

研究问题

• RQ1 不同损失函数如何影响深度卷积神经网络在面部吸引力预测中的性能？
• RQ2 是否可通过简单且多组件的损失函数提升性能，而无需增加额外网络参数？
• RQ3 结合回归、分类与期望监督是否能带来更优的面部吸引力分析特征表示？
• RQ4 ComboLoss在SCUT-FBP、HotOrNot和SCUT-FBP5500等标准基准上的表现如何，相较于最先进方法？

主要发现

• 在SCUT-FBP数据集上，ComboLoss实现皮尔逊相关系数（PC）为0.9090，优于先前最先进方法（0.8723），提升1.13%。
• 在HotOrNot数据集上，ComboLoss实现PC为0.503，较先前最佳结果（0.482）提升2.1%。
• 在SCUT-FBP5500数据集上，ComboLoss实现PC为0.9199，较先前最先进方法（0.9142）提升0.57%。
• 消融实验表明，ComboLoss在MAE、RMSE和PC指标上均优于MSE、L1、平滑L1和平滑Huber损失。
• 即使使用更简单的ResNet18主干网络，ComboLoss仍实现PC为0.9041，优于使用MSE损失训练的更强SEResNeXt50（PC为0.9008）。
• ComboLoss的性能增益在不同主干网络上均保持一致，表明其泛化能力与有效性超越单一架构。