[论文解读] AdaFace: Quality Adaptive Margin for Face Recognition

Minchul Kim, Anil K. Jain+1 more|arXiv (Cornell University)|Apr 3, 2022

Face recognition and analysis被引用 6

一句话总结

AdaFace 提出了一种面向人脸识别的质量自适应边缘损失，该损失根据图像质量动态调整训练重点，使用特征范数作为质量的代理指标。通过优先关注高质量图像中的困难样本，并降低低质量图像中无法识别的（极难）样本的重要性，AdaFace 在 IJB-B、IJB-C、IJB-S 和 TinyFace 等低质量与混合质量人脸识别基准上实现了最先进性能。

ABSTRACT

Recognition in low quality face datasets is challenging because facial attributes are obscured and degraded. Advances in margin-based loss functions have resulted in enhanced discriminability of faces in the embedding space. Further, previous studies have studied the effect of adaptive losses to assign more importance to misclassified (hard) examples. In this work, we introduce another aspect of adaptiveness in the loss function, namely the image quality. We argue that the strategy to emphasize misclassified samples should be adjusted according to their image quality. Specifically, the relative importance of easy or hard samples should be based on the sample's image quality. We propose a new loss function that emphasizes samples of different difficulties based on their image quality. Our method achieves this in the form of an adaptive margin function by approximating the image quality with feature norms. Extensive experiments show that our method, AdaFace, improves the face recognition performance over the state-of-the-art (SoTA) on four datasets (IJB-B, IJB-C, IJB-S and TinyFace). Code and models are released in https://github.com/mk-minchul/AdaFace.

研究动机与目标

• 为解决训练数据中无法识别的人脸图像带来的挑战，这些图像会降低在低质量数据集上的模型性能。
• 通过根据样本难度和图像质量调整损失函数的重要性，提升人脸识别的鲁棒性。
• 设计一种损失函数，避免过度强调低质量图像中无法识别的（极难）样本，同时聚焦于可识别的困难样本。
• 证明特征范数可作为损失函数自适应中图像质量的有效代理指标。
• 在图像质量各异的多样化人脸识别基准上实现最先进性能。

提出的方法

• 该方法在损失函数中引入一种基于深度嵌入特征范数的自适应边缘函数，该范数作为图像质量的代理指标。
• 高特征范数表示高质量图像，使损失更强调困难样本；低范数表示低质量图像，使损失降低对极困难样本的关注。
• 将边缘函数集成到 ArcFace 损失框架中，根据样本的特征范数动态调整角度边缘，以控制梯度尺度。
• 该方法无需额外可学习层或两阶段训练，可轻松集成到现有人脸识别主干网络中。
• 通过在单一统一的损失函数中结合样本难度与质量感知，隐式实现课程学习。
• 损失在训练过程中端到端优化，无需外部质量估计或启发式阈值。

实验结果

研究问题

• RQ1 能否有效利用图像质量，自适应地控制人脸识别训练中困难样本与简单样本的重要性？
• RQ2 使用特征范数作为图像质量的代理指标，是否能提升在低质量人脸识别数据集上的泛化能力？
• RQ3 能否设计一种统一的损失函数，同时适应样本难度与图像质量，并在混合与低质量数据集上超越标准边缘损失方法？
• RQ4 与现有方法相比，所提出的自适应边缘函数在应对无法识别图像时的鲁棒性如何？
• RQ5 该自适应损失在 IJB-B、IJB-C、IJB-S 和 TinyFace 等图像质量多样的基准上，性能提升程度如何？

主要发现

• AdaFace 在 IJB-B、IJB-C、IJB-S 和 TinyFace 数据集上实现了最先进性能，在低质量基准上的平均 Rank-1 性能相比第二名方法提升了 3.5%。
• 在 IJB-B 和 IJB-C 上，AdaFace 分别将错误率降低 11% 和 9%，表明在混合质量设置下具有显著优势。
• 在 IJB-S 上，AdaFace 在 FPIR=1% 时的 TPIR 指标上相比第二名方法提升 2.4%，表明对低质量样本具有更好的泛化能力。
• 该方法在无需额外可学习层或两阶段训练的前提下，优于包括 BroadFace、SCF-ArcFace 和 VPL-ArcFace 在内的竞争基线方法，在高质量数据集上表现更优。
• AdaFace 在多个数据集（包括 MS1MV3 和 WebFace4M）上均取得最先进结果，展现出在多样化训练数据分布下的强鲁棒性。
• 使用特征范数作为质量代理指标，可实现有效且无缝的边缘函数自适应，无需外部质量标注或启发式阈值。