[论文解读] Ranked List Loss for Deep Metric Learning

Xinshao Wang, Hua Yang+2 more|arXiv (Cornell University)|Mar 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 82被引用 4

一句话总结

该论文提出了一种新颖的排序列表损失（RLL），用于深度度量学习，通过利用小批量中所有非平凡样本构建基于集合的相似性结构，提升了训练效率与泛化能力。通过在正样本集与负样本集之间施加边界，并学习类特定的超球体以保持类内结构，RLL在细粒度图像检索基准上实现了最先进性能。

ABSTRACT

The objective of deep metric learning (DML) is to learn embeddings that can capture semantic similarity and dissimilarity information among data points. Existing pairwise or tripletwise loss functions used in DML are known to suffer from slow convergence due to a large proportion of trivial pairs or triplets as the model improves. To improve this, ranking-motivated structured losses are proposed recently to incorporate multiple examples and exploit the structured information among them. They converge faster and achieve state-of-the-art performance. In this work, we unveil two limitations of existing ranking-motivated structured losses and propose a novel ranked list loss to solve both of them. First, given a query, only a fraction of data points is incorporated to build the similarity structure. Consequently, some useful examples are ignored and the structure is less informative. To address this, we propose to build a set-based similarity structure by exploiting all instances in the gallery. The learning setting can be interpreted as few-shot retrieval: given a mini-batch, every example is iteratively used as a query, and the rest ones compose the gallery to search, i.e., the support set in few-shot setting. The rest examples are split into a positive set and a negative set. For every mini-batch, the learning objective of ranked list loss is to make the query closer to the positive set than to the negative set by a margin. Second, previous methods aim to pull positive pairs as close as possible in the embedding space. As a result, the intraclass data distribution tends to be extremely compressed. In contrast, we propose to learn a hypersphere for each class in order to preserve useful similarity structure inside it, which functions as regularisation. Extensive experiments demonstrate the superiority of our proposal by comparing with the state-of-the-art methods.

研究动机与目标

• 解决现有基于排序的损失函数仅使用部分信息丰富的样本、忽略有用非平凡数据点的局限性。
• 通过利用比点对比较（如三元组损失）更丰富的基于集合的相似性结构，提升度量学习的判别能力。
• 克服因强制所有正样本对尽可能接近而导致的类内分布压缩问题，避免内部相似性结构被扭曲。
• 通过动态加权非平凡样本并聚焦于关键早期学习阶段，提升训练效率与收敛速度。
• 提供一种可泛化、可扩展的损失函数，在细粒度图像检索任务中超越最先进方法。

提出的方法

• 将学习目标表述为少样本检索：在每个小批量中，每个样本作为查询，其余样本构成图库。
• 基于相似性分数构建图库样本的排序列表，并根据与查询的关系将其划分为正样本集与负样本集。
• 应用基于边距的损失，确保查询与正样本集的距离比与负样本集的距离小至少边距 $ m $，采用类似合页损失的公式。
• 为每类引入超球体正则化，其中直径定义了任意两个正样本之间允许的最大距离，以保持内部结构。
• 实现动态样本挖掘与基于难度的负样本对自适应加权，学习阶段参数根据早期训练稳定性进行调优。
• 采用多尺度网络设计（RLL-L、RLL-M、RLL-H），评估深度与嵌入维度对性能与泛化能力的影响。

实验结果

研究问题

• RQ1 是否能通过在小批量中整合所有非平凡样本构建基于集合的相似性结构，实现比基于点对或三元组的损失更快的收敛速度与更优性能？
• RQ2 为每类学习一个超球体以保持类内结构，对深度度量学习中的泛化能力与鲁棒性有何影响？
• RQ3 动态样本加权与关键学习阶段调度对模型收敛与性能有何影响？
• RQ4 嵌入维度与网络深度的选择如何影响所提出的RLL损失的性能？
• RQ5 所提出的RLL能否在不同数据集与任务中实现泛化，特别是在细粒度图像检索中？

主要发现

• 在CUB-200-2011与SOP数据集上，RLL实现了最先进性能，CUB-200-2011的Recall@1达到56.4%，In-shop Clothes数据集达到87.7%（在最优设置下）。
• 尽管RLL-L与RLL-M变体网络深度较浅，但其性能与更深模型相当或更优，表明具有很高的样本效率。
• 增大嵌入维度可提升性能，但达到一定点后增益趋于平缓，表明模型大小与准确率之间存在实际权衡。
• 类别数量更多且每类样本更少（即更具挑战性的少样本任务）时，泛化能力更强，表明在数据稀缺条件下鲁棒性更优。
• 早期学习阶段至关重要：当 $ T_1 $ 取值范围为8–16时，动态加权可实现最稳定且最高的性能，各次运行的标准差较低。
• 所提出的动态加权方案显著提升性能，最佳结果在根据难度与学习阶段对负样本对进行加权时取得。