[论文解读] Embedding Transfer with Label Relaxation for Improved Metric Learning

Sung‐Yeon Kim, Dong-Won Kim+2 more|arXiv (Cornell University)|Mar 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 56被引用 5

一句话总结

该论文提出了一种新颖的嵌入迁移方法，利用源嵌入空间中的成对相似性作为松弛标签，通过松弛对比损失训练目标模型。通过整合详细的样本间关系并强调重要样本对，该方法显著提升了度量学习性能，减少了模型大小和维度，并在现有技术基础上增强了自监督学习和分类模型的表现。

ABSTRACT

This paper presents a novel method for embedding transfer, a task of transferring knowledge of a learned embedding model to another. Our method exploits pairwise similarities between samples in the source embedding space as the knowledge, and transfers them through a loss used for learning target embedding models. To this end, we design a new loss called relaxed contrastive loss, which employs the pairwise similarities as relaxed labels for inter-sample relations. Our loss provides a rich supervisory signal beyond class equivalence, enables more important pairs to contribute more to training, and imposes no restriction on manifolds of target embedding spaces. Experiments on metric learning benchmarks demonstrate that our method largely improves performance, or reduces sizes and output dimensions of target models effectively. We further show that it can be also used to enhance quality of self-supervised representation and performance of classification models. In all the experiments, our method clearly outperforms existing embedding transfer techniques.

研究动机与目标

• 通过将预训练源嵌入模型的知识迁移至目标模型，提升度量学习性能。
• 克服现有嵌入迁移方法对所有样本一视同仁或仅使用二元类别标签的局限性。
• 通过利用丰富且连续的成对相似性作为监督信号，实现在度量学习中的有效知识蒸馏。
• 在不显著损失性能的前提下，减少目标模型大小和嵌入维度。
• 通过提升自监督表示和分类模型的性能，证明方法的通用性。

提出的方法

• 该方法通过提取源空间中样本之间的成对相似性，实现从源嵌入模型迁移知识。
• 提出一种松弛对比损失，将这些成对相似性作为“松弛标签”来指导目标模型的训练。
• 损失函数根据相似性值动态调整正样本对和负样本对优化的强度，使更重要的样本对贡献更大。
• 与标准对比损失不同，该方法不要求对目标嵌入空间进行 $\ell_2$ 归一化，从而实现更灵活高效的嵌入维度利用。
• 损失函数设计与标准训练协议兼容，使用与源模型相同的优化器和学习率调度策略。
• 该方法在三种设置中应用：度量学习、自监督表示学习以及分类模型的知识蒸馏。

Figure 1: Accuracy in Recall@1 on the three standard benchmarks for deep metric learning. All embedding transfer methods adopt Proxy-Anchor (PA) [ 19 ] with 512 dimension as the source model. Our method achieves the state of the art when embedding dimension is 512, and is as competitive as recent me

实验结果

研究问题

• RQ1 源嵌入空间中的成对相似性能否作为比二元类别标签更丰富的监督信号，用于嵌入迁移？
• RQ2 强调更具语义意义的样本对是否能提升目标模型在度量学习中的性能？
• RQ3 松弛对比损失能否在不限制目标嵌入空间流形结构的前提下有效迁移知识？
• RQ4 该方法在多大程度上可实现嵌入模型压缩，同时保持或提升性能？
• RQ5 该方法能否在度量学习任务之外，同样提升自监督和分类模型的性能？

主要发现

• 在标准度量学习基准上，所提方法在512维嵌入下实现了最先进性能，优于现有迁移技术。
• 在模型压缩场景下（如将ResNet56压缩为ResNet20），该方法显著减小模型大小和嵌入维度，仅造成可忽略的性能下降。
• 在自监督学习中，该方法将CIFAR-10的线性评估准确率提升至93.9，STL-10提升至89.6，超过PKT和RKD。
• 在CIFAR-100分类模型蒸馏中，使用ResNet20时，该方法达到71.95%的准确率，优于CRD和HKD。
• 在所有评估设置中，包括度量学习、自监督学习和分类任务，该方法均持续优于现有嵌入迁移技术。
• 松弛对比损失无需 $\ell_2$ 归一化即可实现有效知识迁移，从而更充分地利用嵌入维度。

Figure 2: Gradients of relaxed contrastive loss versus pairwise distance given different weights.