[论文解读] Deep Metric Learning with Angular Loss

Jian Wang, Feng Zhou+3 more|arXiv (Cornell University)|Aug 4, 2017

Face recognition and analysis被引用 4

一句话总结

本文提出了一种新型深度度量学习目标——角损失（Angular Loss, AL），通过用三元组三角形中的角度约束替代基于距离的约束，提升了对尺度变化的鲁棒性，并捕捉了更高阶的几何结构。通过最小化三元组中负样本点处的角度，AL在CUB-200-2011、Stanford Cars和Online Products数据集上实现了最先进性能，召回率最高提升至83.9%（recall@8），聚类准确率达到61.1%。

ABSTRACT

The modern image search system requires semantic understanding of image, and a key yet under-addressed problem is to learn a good metric for measuring the similarity between images. While deep metric learning has yielded impressive performance gains by extracting high level abstractions from image data, a proper objective loss function becomes the central issue to boost the performance. In this paper, we propose a novel angular loss, which takes angle relationship into account, for learning better similarity metric. Whereas previous metric learning methods focus on optimizing the similarity (contrastive loss) or relative similarity (triplet loss) of image pairs, our proposed method aims at constraining the angle at the negative point of triplet triangles. Several favorable properties are observed when compared with conventional methods. First, scale invariance is introduced, improving the robustness of objective against feature variance. Second, a third-order geometric constraint is inherently imposed, capturing additional local structure of triplet triangles than contrastive loss or triplet loss. Third, better convergence has been demonstrated by experiments on three publicly available datasets.

研究动机与目标

• 解决基于距离的度量学习的局限性，特别是对尺度变化的敏感性以及缺乏高阶几何约束。
• 通过在三元组损失中以基于角度的约束替代基于距离的目标，提升训练稳定性和收敛性。
• 通过在三元组中编码三阶几何结构，提升图像检索与聚类任务的性能。
• 开发一种对尺度和旋转不变的度量学习目标，更好地处理真实世界数据集中类内变化问题。
• 通过将其与现有框架（如N-pair损失）集成，证明角损失的泛化能力。

提出的方法

• 提出一种新型损失函数，约束三元组三角形中负样本点处的角度，替代传统的基于距离的约束。
• 将角损失定义为正样本与负样本向量之间夹角余弦的函数，并引入边缘（margin）以强化分离。
• 通过使用角度而非绝对距离，实现尺度不变性目标，降低对特征幅值变化的敏感性。
• 将角损失实现为可微函数，可与现有度量学习框架（如N-pair损失）结合使用。
• 对角度的上界施加基于边缘的约束，以推动负样本远离正样本簇中心。
• 引入超参数α以控制角度边缘，消融实验表明在α = 45°时性能最优。

实验结果

研究问题

• RQ1 三元组三角形中的角度约束是否能提升深度度量学习对特征图中尺度变化的鲁棒性？
• RQ2 通过引入三阶几何结构（基于角度）是否能带来优于二阶基于距离目标的收敛性与性能？
• RQ3 在具有高类内差异的数据集（如Stanford Cars）中，角损失与对比损失和三元组损失相比表现如何？
• RQ4 角损失能否有效与现有最先进度量学习框架（如N-pair损失）结合？
• RQ5 在不同数据集上实现最佳性能的角边缘α的最优值是多少？

主要发现

• 在CUB-200-2011数据集上，所提方法达到83.9%的recall@8，优于此前最先进方法（NL&AL）的83.7%。
• 在Stanford Cars数据集上，方法达到92.1%的recall@8和63.2%的聚类准确率，优于所有基线方法。
• 在Online Products数据集上，方法达到98.0%的recall@1000和88.6%的聚类准确率，展现出强大的泛化能力。
• 消融实验表明，在Stanford Cars和Online Products数据集上，α = 45°时性能最佳，分别达到83.9%和98.0%的recall@1000。
• N-pair损失与角损失的结合（NL&AL）在所有数据集上均取得最高性能，证实了所提方法的有效性。
• 与基于距离的基线方法相比，该方法在收敛性和鲁棒性方面表现更优，尤其在类内差异不平衡的数据集上。