[论文解读] A Performance Comparison of Loss Functions for Deep Face Recognition

Yash Srivastava, Vaishnav Murali+1 more|arXiv (Cornell University)|Jan 1, 2019

Face recognition and analysis参考文献 39被引用 25

一句话总结

该论文在CASIA-Webface和MS-Celeb-1M数据集上，使用ResNet50和MobileNet对五种深度损失函数——交叉熵、角度Softmax、加法边缘Softmax、ArcFace和边缘损失——进行了深度人脸识别评估，测试在LFW上进行。ArcFace在准确率（99.35%）和收敛速度方面均表现最佳，无论在何种网络架构和数据集上，其性能与稳定性均优于其他损失函数。

ABSTRACT

Face recognition is one of the most widely publicized feature in the devices today and hence represents an important problem that should be studied with the utmost priority. As per the recent trends, the Convolutional Neural Network (CNN) based approaches are highly successful in many tasks of Computer Vision including face recognition. The loss function is used on the top of CNN to judge the goodness of any network. In this paper, we present a performance comparison of different loss functions such as Cross-Entropy, Angular Softmax, Additive-Margin Softmax, ArcFace and Marginal Loss for face recognition. The experiments are conducted with two CNN architectures namely, ResNet and MobileNet. Two widely used face datasets namely, CASIA-Webface and MS-Celeb-1M are used for the training and benchmark Labeled Faces in the Wild (LFW) face dataset is used for the testing.

研究动机与目标

• 评估并比较不同网络架构和训练数据条件下，现代深度损失函数在人脸识别中的性能表现。
• 评估不同损失函数对深度卷积神经网络训练准确率、测试准确率和收敛速度的影响。
• 确定哪种损失函数在轻量化（MobileNet）和深层（ResNet）架构中均能实现最佳泛化能力和稳定性。
• 分析训练数据集（CASIA-Webface与MS-Celeb-1M）对模型性能及损失函数有效性的影响力。
• 为研究人员和实践者在选择人脸识别系统最优损失函数时提供实证指导。

提出的方法

• 本研究采用两种卷积神经网络架构：ResNet50和MobileNetv1，用于人脸识别中的特征提取与分类。
• 评估了五种损失函数：交叉熵、角度Softmax（A-Softmax）、加法边缘Softmax、ArcFace和边缘损失，每种均旨在提升特征的可分性。
• 实验使用两个大规模人脸数据集：CASIA-Webface和MS-Celeb-1M用于训练，Labeled Faces in the Wild（LFW）用于测试。
• 训练过程持续20个周期，评估指标包括训练准确率、测试准确率和收敛速度（达到峰值性能所需的周期数）。
• 收敛速度定义为达到LFW最高测试准确率所需的最小周期数。
• 统计分析包括对第10至20个周期的测试准确率均值与标准差，以评估模型的稳定性和收敛行为。

实验结果

研究问题

• RQ1 在不同CNN架构下，哪种损失函数在LFW基准上实现最高的人脸识别准确率？
• RQ2 训练数据集的选择（CASIA-Webface与MS-Celeb-1M）如何影响不同损失函数的性能表现？
• RQ3 哪种损失函数在达到峰值测试准确率的周期数上收敛最快？
• RQ4 不同损失函数的训练与测试准确率趋势如何变化？哪种表现出最稳定的性能？
• RQ5 网络架构（ResNet50与MobileNet）是否显著影响损失函数的相对性能？

主要发现

• 当在CASIA-Webface上使用ResNet50训练时，ArcFace在LFW数据集上实现了最高的测试准确率（99.35%），优于所有其他损失函数。
• ArcFace损失表现出最快的收敛速度，在MS-Celeb-1M上训练ResNet50时，于第13个周期即达到峰值性能。
• ArcFace的平均测试准确率为99.01%，标准差仅为0.305，表明其在各周期间具有高度稳定性和一致的性能表现。
• 在MobileNetv1上使用CASIA-Webface训练时，加法边缘Softmax实现了最高的训练准确率（95.12%），但在测试准确率和收敛速度方面表现滞后。
• 在CASIA-Webface上训练的模型始终优于在MS-Celeb-1M上训练的模型，这可能是由于CASIA-Webface数据噪声更低、质量更好。
• 当在MS-Celeb-1M上训练时，ResNet50在大多数损失函数下收敛速度优于MobileNet，仅在加法边缘Softmax情况下，两者均于第15个周期收敛。