[论文解读] Deep Metric Learning with Spherical Embedding

Dingyi Zhang, Yingming Li+1 more|arXiv (Cornell University)|Nov 5, 2020

Face recognition and analysis参考文献 35被引用 16

一句话总结

本文提出球面嵌入约束（Spherical Embedding Constraint, SEC），一种新颖的正则化方法，可自适应地降低深度度量学习中嵌入范数的方差，确保嵌入位于同一超球面上。通过稳定训练过程中的梯度更新，SEC 改进了基于方向的优化，显著提升了在人脸识别、深度度量学习以及自监督学习基准上的性能。

ABSTRACT

Deep metric learning has attracted much attention in recent years, due to seamlessly combining the distance metric learning and deep neural network. Many endeavors are devoted to design different pair-based angular loss functions, which decouple the magnitude and direction information for embedding vectors and ensure the training and testing measure consistency. However, these traditional angular losses cannot guarantee that all the sample embeddings are on the surface of the same hypersphere during the training stage, which would result in unstable gradient in batch optimization and may influence the quick convergence of the embedding learning. In this paper, we first investigate the effect of the embedding norm for deep metric learning with angular distance, and then propose a spherical embedding constraint (SEC) to regularize the distribution of the norms. SEC adaptively adjusts the embeddings to fall on the same hypersphere and performs more balanced direction update. Extensive experiments on deep metric learning, face recognition, and contrastive self-supervised learning show that the SEC-based angular space learning strategy significantly improves the performance of the state-of-the-art.

研究动机与目标

• 研究嵌入范数分布对深度度量学习中角度距离优化的影响。
• 解决由于嵌入范数方差过大导致的批量优化过程中梯度更新不稳定的問題。
• 通过约束嵌入位于同一超球面上，改善角度损失函数中方向更新的平衡性。
• 在不修改损失架构的前提下，提升最先进深度度量学习模型的泛化能力和收敛性。

提出的方法

• 提出球面嵌入约束（SEC），自适应调整每个小批量中嵌入的 L2 范数，以减小方差。
• SEC 将小批量中的所有嵌入归一化为具有相同的范数，该范数等于其 L2 范数的平均值，从而在超球面上促进一致性。
• 该方法作为轻量级、可微的正则化层，应用于最终嵌入层之后，无需修改网络架构。
• SEC 与现有的基于对的角损失函数（如三元组损失、N-pair 损失、多相似性损失）结合，以提升训练稳定性和性能。
• 该约束在反向传播过程中应用，确保在初始范数不同的样本之间，梯度更新保持平衡。
• 该方法避免将范数固定为常数值，而是允许自适应归一化，从而保持模型灵活性。

实验结果

研究问题

• RQ1 嵌入范数的分布在角度度量学习中如何影响梯度稳定性和优化效率？
• RQ2 减小嵌入范数的方差是否能提升最先进角度损失函数在深度度量学习中的性能？
• RQ3 强制嵌入位于同一超球面上是否能带来更平衡的方向更新并实现更快收敛？
• RQ4 SEC 在人脸识别和自监督学习等多样化任务中，性能提升的幅度有多大？
• RQ5 与 L2 归一化等其他正则化技术相比，SEC 在泛化能力和鲁棒性方面表现如何？

主要发现

• 如图 1 所示，SEC 显著降低了训练过程中嵌入范数的方差，其范数分布相比标准角度损失变得更为紧凑。
• 在 CUB200-2011 和 Cars196 数据集上，SEC 使三元组损失的 top-1 准确率最高提升 1.5%，且在所有评估指标上均保持一致增益。
• 在 LFW、MegaFace 和 CFPFP 人脸识别数据集上，SEC 将表现最佳的 Arcface 模型准确率提升至 99.35%（无 SEC 时为 99.32%），且在更大干扰样本集合中进一步提升。
• 在 CIFAR-10 和 CIFAR-100 数据集上采用 SimCLR 自监督学习时，SEC 相比基线 NT-Xent 损失，线性评估 top-1 准确率提升 0.21–0.30 个百分点。
• SEC 与多相似性损失结合，在 MegaFace 数据集（含 10^6 个干扰样本）上实现 99.35% 的准确率，优于基线模型及 L2 正则化变体。
• SEC 在所有评估的损失函数和数据集上均一致提升性能，证明其在多样化深度度量学习设置中的泛化能力与鲁棒性。