[论文解读] CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition

Yuge Huang, Yuhan Wang+6 more|arXiv (Cornell University)|Apr 1, 2020

Face recognition and analysis参考文献 38被引用 30

一句话总结

CurricularFace 引入一种自适应课程学习损失，通过在训练早期自适应调节负余弦相似度以强调易样本，后期强调难样本，从而提升人脸识别的现有最先进性能。

ABSTRACT

As an emerging topic in face recognition, designing margin-based loss functions can increase the feature margin between different classes for enhanced discriminability. More recently, the idea of mining-based strategies is adopted to emphasize the misclassified samples, achieving promising results. However, during the entire training process, the prior methods either do not explicitly emphasize the sample based on its importance that renders the hard samples not fully exploited; or explicitly emphasize the effects of semi-hard/hard samples even at the early training stage that may lead to convergence issue. In this work, we propose a novel Adaptive Curriculum Learning loss (CurricularFace) that embeds the idea of curriculum learning into the loss function to achieve a novel training strategy for deep face recognition, which mainly addresses easy samples in the early training stage and hard ones in the later stage. Specifically, our CurricularFace adaptively adjusts the relative importance of easy and hard samples during different training stages. In each stage, different samples are assigned with different importance according to their corresponding difficultness. Extensive experimental results on popular benchmarks demonstrate the superiority of our CurricularFace over the state-of-the-art competitors.

研究动机与目标

• 在面部识别中动机化边距基和挖掘为基础的损失并解决它们在收敛和采样方面的问题。
• 引入一种自适应的课程学习损失，在训练过程中选择并对样本进行加权。
• 设计一个对负余弦相似度进行调制的函数，使其在训练阶段对其进行调整而无需手动超参数调优。
• 在常见人脸基准上展示相较SOTA方法的改进的验证/识别性能。

提出的方法

• 通过一个新的调制 I(t, cos theta_j) 将课程学习嵌入到损失中，自适应地对难样本进行加权。
• 定义 N(t, cos theta_j) = cos theta_j 用于易/硬边界情形，N(t, cos theta_j) = (t + cos theta_j) cos theta_j 用于硬样本。
• 通过对正余弦相似度的指数移动平均在线估计 t，以跟踪训练阶段（t^{(k)} = alpha r^{(k)} + (1-alpha) t^{(k-1)}）。
• 采用 ArcFace 作为边际基于正相似度 T(cos theta_y_i) = cos(theta_y_i + m)，并将 N(t, cos theta_j) 应用于 softmax 损失中的负相似度。
• 在三种情况下（y_i、易负样本、难负样本）提供对 x_i 和 W_j 的 SGD 兼容梯度。
• 将 CurricularFace 与 ArcFace 和 MV-Arc-Softmax 进行比较，突出对难样本的自适应加权和训练过程中的分阶段强调。

实验结果

研究问题

• RQ1 自适应课程学习是否能够在深度人脸识别中超越固定边距和固定挖掘损失的判别能力？
• RQ2 在线自适应加权难样本是否有助于在较小骨干网和多种基准上的收敛？
• RQ3 相对于 ArcFace 和 MV-Arc-Softmax，CurricularFace 在标准验证/识别基准上的表现如何？
• RQ4 提出的 t-estimation 机制在不同数据集和骨干模型上是否鲁棒？

主要发现

• CurricularFace 在 LFW、CFP-FP、CPLFW、AgeDB、CALFW、IJB-B、IJB-C 和 MegaFace（使用 MS1MV2 / ResNet 骨干）上实现了接近最先进的结果。
• 在 LFW 与 CFP-FP/CPLFW 基准上，使用 MS1MV2-ResNet100 时，CurricularFace 达到 99.80%（LFW）和 98.37%（CFP-FP），以及 93.13%（CPLFW），在若干指标上超过 ArcFace 与 MV-Arc-Softmax。
• 自适应 t 估计在相对于固定 t 的情况下提升了验证准确性；cos theta_y_i 的自适应均值在所测试的策略中yield 最佳结果。
• CurricularFace 对小骨干网络（如 MobileFaceNet）的收敛性问题显示出鲁棒性，而 ArcFace 可能发散，CurricularFace 在 m=0.5 或 0.45 时可收敛。
• 在 MegaFace 与 IJB-B/IJB-C 上，CurricularFace 达到领先的单模型识别/验证分数，相较于强基线。
• 与 ArcFace 的训练时间相比，方法在每次迭代的额外计算开销极小（P40 GPU 上训练时间：0.378s 对 0.370s）。