[论文解读] Divide and Conquer the Embedding Space for Metric Learning

Artsiom Sanakoyeu, Vadim Tschernezki+2 more|arXiv (Cornell University)|Jun 14, 2019

Face and Expression Recognition参考文献 56被引用 10

一句话总结

本文提出一种用于深度度量学习的分治方法，将数据和嵌入空间划分为K个非重叠子空间，在每个子空间上独立训练K个距离度量。通过降低每个子问题的复杂度并实现自然的难样本挖掘，该方法在五个基准数据集上的检索、聚类和重识别任务中均取得了当前最优性能。

ABSTRACT

Learning the embedding space, where semantically similar objects are located close together and dissimilar objects far apart, is a cornerstone of many computer vision applications. Existing approaches usually learn a single metric in the embedding space for all available data points, which may have a very complex non-uniform distribution with different notions of similarity between objects, e.g. appearance, shape, color or semantic meaning. Approaches for learning a single distance metric often struggle to encode all different types of relationships and do not generalize well. In this work, we propose a novel easy-to-implement divide and conquer approach for deep metric learning, which significantly improves the state-of-the-art performance of metric learning. Our approach utilizes the embedding space more efficiently by jointly splitting the embedding space and data into $K$ smaller sub-problems. It divides both, the data and the embedding space into $K$ subsets and learns $K$ separate distance metrics in the non-overlapping subspaces of the embedding space, defined by groups of neurons in the embedding layer of the neural network. The proposed approach increases the convergence speed and improves generalization since the complexity of each sub-problem is reduced compared to the original one. We show that our approach outperforms the state-of-the-art by a large margin in retrieval, clustering and re-identification tasks on CUB200-2011, CARS196, Stanford Online Products, In-shop Clothes and PKU VehicleID datasets.

研究动机与目标

• 解决在高复杂度、非均匀分布的嵌入空间中学习单一统一度量的挑战。
• 克服现有度量学习方法在复杂数据分布中难以处理冲突相似性类型（如外观、形状、语义）的局限性。
• 通过将全局度量学习问题分解为更小、局部化的子问题，提升泛化能力和收敛速度。
• 实现对现有度量学习框架中标准线性嵌入层的高效、即插即用式替换，且无需依赖损失函数。
• 在细粒度检索、重识别和聚类等多样化基准任务中均实现一致的性能提升。

提出的方法

• 基于学习到的特征表示，使用K-means聚类将嵌入空间中的数据点划分为K组。
• 将神经网络的最终嵌入层划分为K个非重叠子空间，每个子空间对应一个聚类。
• 训练K个独立的学习器，每个仅在其分配聚类的数据上进行优化，并使用其专属子空间。
• 使用共享主干网络进行特征提取，每个学习器在其子空间上应用独立的线性投影。
• 端到端联合训练所有K个学习器，梯度通过共享特征和各个子空间反向传播。
• 每T个周期重新执行一次K-means聚类，以适应训练过程中嵌入空间的演化。

实验结果

研究问题

• RQ1 与学习单一全局度量相比，将嵌入空间和数据划分为K个子问题是否能提升度量学习性能？
• RQ2 数据与子空间分区的联合聚类是否能带来更好的泛化能力和更快的收敛速度？
• RQ3 所提方法是否能自然识别难样本，而无需显式挖掘过程？
• RQ4 聚类策略的选择（如K-means与随机划分或真实标签分组）对性能有何影响？
• RQ5 该方法在多样化度量学习任务和数据集上的泛化能力如何？

主要发现

• 所提方法在五个基准数据集上取得了新的SOTA性能：CUB200-2011、CARS196、Stanford Online Products、In-shop Clothes和PKU VehicleID。
• 在使用Margin损失的Stanford Online Products数据集中，该方法达到75.9%的Recall@1，优于基线（72.7%）及其他消融变体。
• 使用K=8个学习器时性能最佳，Stanford Online Products数据集上的Recall@1从基线的72.7%提升至75.9%。
• 嵌入空间中的K-means聚类显著优于随机数据划分（73.2% Recall@1）和真实标签分组（74.5% Recall@1）。
• 该方法降低了每个子问题的训练复杂度，相比单度量学习，实现了更快的收敛速度和更优的局部最优解。
• 该方法能自然识别难样本：同一聚类内的负样本对平均距离低于跨聚类对，从而增强了训练信号强度。