[论文解读] Making Classification Competitive for Deep Metric Learning

Andrew Zhai, Haoyu Wu|arXiv (Cornell University)|Nov 30, 2018

COVID-19 diagnosis using AI被引用 17

一句话总结

本文提出了一种基于分类的新颖深度度量学习方法，通过将标准分类网络转化为基于代理的度量学习器，在图像检索和聚类基准上实现了最先进性能。该方法稳定了高维嵌入学习，并实现了与非参数方法（如三元组或成对挖掘）相当甚至更优的性能，同时保持了较低的内存占用。

ABSTRACT

Deep metric learning aims to learn a function mapping image pixels to embedding feature vectors that model the similarity between images. The majority of current approaches are non-parametric, learning the metric space directly through the supervision of similar (pairs) or relatively similar (triplets) sets of images. A difficult challenge for training these approaches is mining informative samples of images as the metric space is learned with only the local context present within a single mini-batch. Alternative approaches use parametric metric learning to eliminate the need for sampling through supervision of images to proxies. Although this simplifies optimization, such proxy-based approaches have lagged behind in performance. In this work, we demonstrate that a standard classification network can be transformed into a variant of proxy-based metric learning that is competitive against non-parametric approaches across a wide variety of image retrieval tasks. We address key challenges in proxy-based metric learning such as performance under extreme classification and describe techniques to stabilize and learn higher dimensional embeddings. We evaluate our approach on the CAR-196, CUB-200-2011, Stanford Online Product, and In-Shop datasets for image retrieval and clustering. Finally, we show that our softmax classification approach can learn high-dimensional binary embeddings that achieve new state-of-the-art performance on all datasets evaluated with a memory footprint that is the same or smaller than competing approaches.

研究动机与目标

• 弥合基于参数代理的度量学习与非参数方法（如三元组或成对挖掘）之间的性能差距。
• 解决高维代理学习中的不稳定性和性能退化问题。
• 通过使用标准交叉熵分类与代理，实现深度度量模型的有效训练，无需复杂的挖掘策略。
• 证明简单的分类头可实现与复杂非参数度量学习框架相当或更优的结果。

提出的方法

• 通过将类别中心（代理）作为最后一层权重，将标准分类网络转化为基于代理的度量学习框架。
• 应用一种修改后的softmax交叉熵损失，促使特征嵌入远离负向代理并靠近正向代理。
• 引入温度缩放和特征归一化技术，以稳定高维空间中的训练并提升泛化能力。
• 采用一种在训练过程中自适应调整的代理更新策略，以更好地表示底层数据分布。
• 采用两阶段训练协议：首先使用标准交叉熵进行预训练，然后使用基于代理的对比损失进行微调。
• 通过归一化特征的后处理，实现高维二值嵌入的学习，同时保持极低的内存开销。

实验结果

研究问题

• RQ1 通过基于代理的改进，标准分类网络是否可与非参数度量学习方法相媲美？
• RQ2 如何在不引起性能退化的情况下，稳定并扩展基于代理的度量学习至高维嵌入空间？
• RQ3 使用基于代理的方法与简单分类头是否在图像检索和聚类中优于复杂的基于挖掘的非参数方法？
• RQ4 能否从分类框架高效学习高维二值嵌入，同时保持最先进精度和低内存使用？

主要发现

• 所提方法在所有评估数据集（CAR-196、CUB-200-2011、Stanford Online Products 和 In-Shop）上均取得了新的最先进性能。
• 在所有检索和聚类基准上，其性能均优于非参数方法（如三元组和成对学习）。
• 即使在学习高维嵌入时，其内存占用也保持或低于竞争方法。
• 通过归一化和温度缩放，该方法在高维空间中表现出鲁棒性和稳定性。
• 从模型中提取的高维二值嵌入在极低存储成本下实现了最先进结果。
• 消融研究证实，适当的正则化和归一化对于性能至关重要，尤其是在极端分类设置下。