[论文解读] Domain Balancing: Face Recognition on Long-Tailed Domains

Dong Cao, Xiangyu Zhu+3 more|arXiv (Cornell University)|Mar 30, 2020

Face recognition and analysis参考文献 40被引用 9

一句话总结

本文提出领域平衡（Domain Balancing, DB），一种新颖的框架，用于解决人脸识别中长尾领域分布的问题，即少数领域（头部领域）占主导地位，而大量稀有领域（尾部领域）代表性不足。该方法利用领域频率指示器（DFI）识别领域频率，通过残差平衡映射（RBM）模块自适应调整网络特征，并在损失函数中引入领域平衡边界（DBM）以提升尾部领域样本的权重，从而在LFW、MegaFace及其他基准测试中实现最先进性能。

ABSTRACT

Long-tailed problem has been an important topic in face recognition task. However, existing methods only concentrate on the long-tailed distribution of classes. Differently, we devote to the long-tailed domain distribution problem, which refers to the fact that a small number of domains frequently appear while other domains far less existing. The key challenge of the problem is that domain labels are too complicated (related to race, age, pose, illumination, etc.) and inaccessible in real applications. In this paper, we propose a novel Domain Balancing (DB) mechanism to handle this problem. Specifically, we first propose a Domain Frequency Indicator (DFI) to judge whether a sample is from head domains or tail domains. Secondly, we formulate a light-weighted Residual Balancing Mapping (RBM) block to balance the domain distribution by adjusting the network according to DFI. Finally, we propose a Domain Balancing Margin (DBM) in the loss function to further optimize the feature space of the tail domains to improve generalization. Extensive analysis and experiments on several face recognition benchmarks demonstrate that the proposed method effectively enhances the generalization capacities and achieves superior performance.

研究动机与目标

• 解决真实世界人脸识别中领域分布的长尾问题，即少数领域（如白人男性）占主导，而大量稀有领域（如儿童、非洲女性）代表性不足。
• 克服领域标签不可访问的挑战，这在实际应用中会阻止对领域频率的直接监督估计。
• 通过在不依赖显式领域标注的情况下平衡头部与尾部领域之间的表征学习，提升模型泛化能力。
• 通过基于领域频率的自适应网络调制和损失重加权，提升稀有领域的性能。

提出的方法

• 提出领域频率指示器（DFI），通过特征空间中的类间紧凑性来估计领域频率——紧凑聚类表示头部领域，稀疏区域表示尾部领域。
• 引入轻量级残差平衡映射（RBM）模块，包含领域增强分支和软门控，根据DFI动态调整特征表示。
• 在损失函数中设计领域平衡边界（DBM），自适应增大尾部领域样本的边界，以改善其判别性学习。
• 使用t-SNE可视化验证头部领域形成紧凑聚类，而尾部领域分布稀疏，证实DFI有效区分领域频率。
• 在DFI中采用K近邻策略计算局部紧凑性，消融实验表明K=100时性能最优。
• 在MS-Celeb-1M和CASIA-Webface上训练ResNet50，将DB应用于基于边距的损失函数（如ArcFace），以提升泛化性能。

实验结果

研究问题

• RQ1 在真实世界设置中，当领域标签不可访问时，如何判断样本是否属于头部或尾部领域？
• RQ2 在长尾领域分布中，特征空间中的类间紧凑性能否作为领域频率的可靠代理？
• RQ3 如何在不使用显式领域标注的情况下，自适应地平衡不同频率领域之间的特征学习？
• RQ4 在损失函数中引入领域感知边界是否能提升稀有领域的识别性能？

主要发现

• 所提出的DB方法在LFW上达到99.78%的准确率，超过ArcFace（99.68%），创下新SOTA记录。
• 在具有挑战性的LFW BLUFR协议下，该方法达到98.91%的VR@FAR=0.001%，优于ArcFace（98.77%）。
• 在MegaFace上，该方法实现96.35%的Rank-1识别准确率，较ArcFace（95.53%）提升0.82%。
• 在CALFW、CPLFW和AgeDB上，该方法分别达到96.08%、92.63%和97.90%的准确率，平均比ArcFace高出0.4%。
• 消融研究显示，DFI在K=100时性能最优，且RBM + DBM组合带来最大性能增益。
• 可视化结果证实，头部领域形成紧凑聚类，而尾部领域分布稀疏，验证了DFI在识别领域频率方面的有效性。