[论文解读] Mis-classified Vector Guided Softmax Loss for Face Recognition

Xiaobo Wang, Shifeng Zhang+4 more|arXiv (Cornell University)|Nov 26, 2019

Face recognition and analysis参考文献 40被引用 13

一句话总结

本文提出了一种新型损失函数——误分类向量引导的软最大值损失（MV-Softmax），通过自适应地强调误分类的特征向量，提升人脸识别中的特征判别能力。通过统一基于边界和基于挖掘的方法，MV-Softmax在LFW、MegaFace和Trillion-Pairs基准上均达到最先进性能，在Trillion-Pairs上于低误报率条件下相比基线方法和融合方法最高提升达3%。

ABSTRACT

Face recognition has witnessed significant progress due to the advances of deep convolutional neural networks (CNNs), the central task of which is how to improve the feature discrimination. To this end, several margin-based ( extit{e.g.}, angular, additive and additive angular margins) softmax loss functions have been proposed to increase the feature margin between different classes. However, despite great achievements have been made, they mainly suffer from three issues: 1) Obviously, they ignore the importance of informative features mining for discriminative learning; 2) They encourage the feature margin only from the ground truth class, without realizing the discriminability from other non-ground truth classes; 3) The feature margin between different classes is set to be same and fixed, which may not adapt the situations very well. To cope with these issues, this paper develops a novel loss function, which adaptively emphasizes the mis-classified feature vectors to guide the discriminative feature learning. Thus we can address all the above issues and achieve more discriminative face features. To the best of our knowledge, this is the first attempt to inherit the advantages of feature margin and feature mining into a unified loss function. Experimental results on several benchmarks have demonstrated the effectiveness of our method over state-of-the-art alternatives.

研究动机与目标

• 为解决现有基于边界和基于挖掘的软最大值损失在人脸识别中的局限性，特别是其未能有效利用信息性特征以及自适应加权困难样本的问题。
• 将特征边界与特征挖掘的优势统一到单一、连贯的损失函数中，以提升类间可分性与类内紧凑性。
• 开发一种基于样本难度自适应重加权误分类样本的损失函数，而非使用固定或经验设定的阈值。
• 通过聚焦最具挑战性的误分类样本，提升模型在极端条件下的泛化能力，例如极低误报率（如1e-6或1e-9）的情况。
• 提供一种比简单组合边界与挖掘策略更具语义意义且更有效的替代方案。

提出的方法

• 所提出的MV-Softmax损失显式识别误分类的特征向量作为困难样本，并为其分配更高的训练权重，以引导判别性学习。
• 提出一种自适应重加权函数（公式8），根据分类难度增加误分类样本的损失贡献，实现每类的动态边界调整。
• 将角度边界（Arc-Softmax）与加法边界（AM-Softmax）原理整合到统一框架中，增强类间分离能力。
• 结合基于边界的损失的几何直观与基于挖掘的损失的样本选择策略，但不依赖外部挖掘启发式规则。
• 采用温度缩放的软最大值函数，并引入可学习边界，其值根据模型预测置信度和误分类状态动态调整。
• 该框架应用于标准人脸识别模型，通过在标准基准上的反向传播实现端到端训练优化。

实验结果

研究问题

• RQ1 统一的损失函数能否有效结合基于边界和基于挖掘的软最大值损失的优势，以提升人脸识别性能？
• RQ2 显式聚焦于误分类特征向量是否能比依赖固定或经验设定的困难样本带来更好的特征判别能力？
• RQ3 对误分类样本的自适应重加权能否在Trillion-Pairs等极端低误报率基准上提升性能？
• RQ4 与简单组合边界与挖掘损失的方法相比，所提出的MV-Softmax损失在泛化能力和鲁棒性方面表现如何？
• RQ5 自适应边界机制是否比固定边界或固定加权策略在处理类别不平衡与困难样本分布方面更具优势？

主要发现

• 在Trillion-Pairs挑战中，MV-AM-Softmax-a在FAR=1e-9条件下实现了76.94%的识别真阳性率（TPR）和75.93%的验证真阳性率（TPR），在识别任务上优于最佳基线AM-Softmax超过2.5%，在验证任务上优于4.5%。
• 在MegaFace上，MV-AM-Softmax-a实现了98.00%的识别Rank-1准确率和98.31%的验证TPR@FAR=1e-6，分别优于AM-Softmax 0.31%和0.49%。
• 自适应重加权函数（公式8）始终优于固定加权版本（公式7），证明了动态难度感知损失调整的重要性。
• MV-Softmax变体在Trillion-Pairs上相比基线方法至少提升3%，表明其在极端低误报率条件下的强大泛化能力。
• 在MegaFace Set 1的CMC和ROC曲线中，MV-Softmax模型在所有评估指标上均持续优于所有竞争方法，包括融合的边界-挖掘损失。
• 该方法在RFW基准的所有子组中均表现出一致优势，表明其对测试数据中种族偏差和人口统计学变化具有鲁棒性。