[论文解读] Circle Loss: A Unified Perspective of Pair Similarity Optimization

Yifan Sun, Changmao Cheng+5 more|arXiv (Cornell University)|Feb 25, 2020

Face recognition and analysis参考文献 58被引用 102

一句话总结

Circle Loss 引入了一种统一、灵活的深度特征学习损失，通过对相似性对进行自-paced 加权，形成圆形决策边界，从而改善分类级别和对比监督的优化与收敛。

ABSTRACT

This paper provides a pair similarity optimization viewpoint on deep feature learning, aiming to maximize the within-class similarity $s_p$ and minimize the between-class similarity $s_n$. We find a majority of loss functions, including the triplet loss and the softmax plus cross-entropy loss, embed $s_n$ and $s_p$ into similarity pairs and seek to reduce $(s_n-s_p)$. Such an optimization manner is inflexible, because the penalty strength on every single similarity score is restricted to be equal. Our intuition is that if a similarity score deviates far from the optimum, it should be emphasized. To this end, we simply re-weight each similarity to highlight the less-optimized similarity scores. It results in a Circle loss, which is named due to its circular decision boundary. The Circle loss has a unified formula for two elemental deep feature learning approaches, i.e. learning with class-level labels and pair-wise labels. Analytically, we show that the Circle loss offers a more flexible optimization approach towards a more definite convergence target, compared with the loss functions optimizing $(s_n-s_p)$. Experimentally, we demonstrate the superiority of the Circle loss on a variety of deep feature learning tasks. On face recognition, person re-identification, as well as several fine-grained image retrieval datasets, the achieved performance is on par with the state of the art.

研究动机与目标

• 解释在分类与度量学习范式中，现有损失在优化 (s_n − s_p) 时的局限性。
• 提出 Circle loss，利用自-paced 加权根据优化状态自适应梯度。
• 证明 Circle loss 提供与类别级标签和成对标签兼容的统一表述。
• 展示在人脸识别、行人再识别和细粒度图像检索上的实证改进。

提出的方法

• 将成对相似性优化重新表述为 (α_n s_n − α_p s_p)，其中 α_n 和 α_p 为自适应、非负权重。
• 将 α_p 和 α_n 定义为自-paced 项：α_p^i = [O_p − s_p^i]_+ 和 α_n^j = [s_n^j − O_n]_+，其中 O_p 和 O_n 是最优相似度。
• 从边界和松弛推导圆形决策边界，得到带有 Δ_n 和 Δ_p 的双边边距表述。
• 证明 Circle loss 在特殊情况下退化为三元组损失或分类损失，确立统一视角。
• 给出反映对 s_p 和 s_n 的平衡、逐渐衰减更新的解析梯度表达式。
• 在面部识别、重识别和细粒度检索上对 Circle loss 进行实证验证，具有鲁棒的超参数行为。

实验结果

研究问题

• RQ1 加权相似性对优化是否能在收敛方面优于传统的 (s_n − s_p) 基损失？
• RQ2 如何将自-paced 权重集成到统一的 Circle loss 中，以同时支持类别级和成对监督？
• RQ3 Circle loss 是否在人脸识别和 re-ID 等任务中提供更明确的收敛目标和更好的可分离性？
• RQ4 Circle loss 相较于 softmax 基和 triplet 基损失，在标准基准上的经验提升有哪些？

主要发现

Loss function	Rank 1 (R34)	Rank 1 (R100)	Veri. (R34)	Veri. (R100)
Softmax	92.36	95.04	92.72	95.16
NormFace	92.62	95.27	92.91	95.37
AM-Softmax	97.54	98.31	97.64	98.55
ArcFace	97.68	98.36	97.70	98.58
CircleLoss (ours)	97.81	98.50	98.12	98.73

• Circle loss 在人脸识别方面达到与最先进损失竞争或更优的性能，我们的方法 CircleLoss 获得 MegaFace 上 ResNet34 的 97.81% 的 rank-1 和 98.50% 的 verification，以及 ResNet100 的 98.12% rank-1 和 98.73% verification。
• 在 IJB-C 的 1:1 验证中，使用 ResNet34 的 Circle loss 达到 96.04% TAR@1e-4 和 93.44% TAR@1e-5，超过 ArcFace。
• Circle loss 提升 re-ID 指标，在 Market-1501（ResNet50 + CircleLoss）达到 94.2% R-1 和 84.9% mAP，在 MSMT17 达到 96.1% R-1 和 87.4% mAP。
• 在细粒度检索任务上，Circle loss 在 CUB-200-2011、Cars196 和 Stanford Online Products 上也表现出竞争力，无需复杂的困难样本挖掘。
• 该方法对超参数 γ 和 m 显示出鲁棒性，Circle loss 在广泛设定下始终优于竞争基线。
• Circle loss 的梯度动力学提供平衡、逐渐衰减的更新，并由于圆形决策边界而具有明确的收敛目标。