[论文解读] Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies

Yuehua Zhu, Muli Yang+2 more|arXiv (Cornell University)|Oct 26, 2020

Face recognition and analysis参考文献 27被引用 27

一句话总结

该论文提出了一种名为ProxyGML的新颖深度图度量学习方法，通过使用更少且自适应选择的代理来建模嵌入空间中的全局与局部相似性关系。通过构建k近邻子图并应用反向标签传播算法，ProxyGML在CUB-200-2011、Cars196和Stanford Online Products数据集上实现了最先进的准确率与效率表现，且计算成本更低。

ABSTRACT

Deep metric learning plays a key role in various machine learning tasks. Most of the previous works have been confined to sampling from a mini-batch, which cannot precisely characterize the global geometry of the embedding space. Although researchers have developed proxy- and classification-based methods to tackle the sampling issue, those methods inevitably incur a redundant computational cost. In this paper, we propose a novel Proxy-based deep Graph Metric Learning (ProxyGML) approach from the perspective of graph classification, which uses fewer proxies yet achieves better comprehensive performance. Specifically, multiple global proxies are leveraged to collectively approximate the original data points for each class. To efficiently capture local neighbor relationships, a small number of such proxies are adaptively selected to construct similarity subgraphs between these proxies and each data point. Further, we design a novel reverse label propagation algorithm, by which the neighbor relationships are adjusted according to ground-truth labels, so that a discriminative metric space can be learned during the process of subgraph classification. Extensive experiments carried out on widely-used CUB-200-2011, Cars196, and Stanford Online Products datasets demonstrate the superiority of the proposed ProxyGML over the state-of-the-art methods in terms of both effectiveness and efficiency. The source code is publicly available at https://github.com/YuehuaZhu/ProxyGML.

研究动机与目标

• 解决依赖于小批量样本对或三元组的传统深度度量学习方法存在的采样低效与高计算成本问题。
• 克服如ProxyNCA等单代理方法在捕捉类内差异方面的局限性。
• 通过利用图分类与自适应代理选择，开发一种比代理法和基于分类的度量学习更有效且高效的替代方案。
• 通过一种新颖的反向标签传播机制，利用真实标签迭代优化邻居关系，实现更快的收敛速度与更好的泛化能力。

提出的方法

• 每个类别使用多个全局代理，以更好地在嵌入空间中表示类内差异。
• 在小批量中的所有代理与数据点之间构建有向相似性图，以建模全局关系。
• 通过为每个数据点自适应选择最具信息量的代理，将图分解为k近邻子图，以捕捉细粒度的局部结构。
• 设计一种反向标签传播算法，利用真实标签在每次迭代中调整子图内的邻居关系，从而增强判别性特征学习。
• 在图分类框架下对子图进行分类，使模型能够通过联合优化代理与子图结构，学习到更具判别性的度量空间。
• 该方法可作为现有度量学习损失的即插即用替代品，支持小批量训练，从而提升训练效率。

实验结果

研究问题

• RQ1 通过战略性选择更少的代理，是否能实现优于现有代理法或采样法的度量学习方法的性能？
• RQ2 在不依赖随机或启发式采样的前提下，如何有效建模深度度量学习中的局部邻域结构？
• RQ3 在子图上应用反向标签传播是否能通过利用真实标签优化邻居关系，从而提升度量空间的判别能力？
• RQ4 将全局代理表示与局部子图分类相结合，是否能实现更快的收敛速度与更高的准确率？

主要发现

• ProxyGML在CUB-200-2011、Cars196和Stanford Online Products数据集的检索与聚类任务中均达到了最先进性能。
• 在Cars196数据集上，ProxyGML使用512维嵌入实现了91.2%的Recall@1，优于所有基线方法。
• 尽管Stanford Online Products数据集类别数量庞大（11,318类），ProxyGML仍以显著更低的计算成本实现了与最佳方法相当的性能。
• 在反向传播过程中，ProxyGML仅使用k = ⌈0.05 × 11318⌉ ≈ 566个代理，远低于Proxy-Anchor中使用的完整代理集（11,318个），从而大幅降低内存与计算开销。
• 该方法收敛速度优于现有方法，如在Cars196基准上，训练时间更短但Recall@1值更高。
• 反向标签传播机制有效提升了子图结构学习效果，从而生成更具判别性的嵌入，且无需依赖大批次训练。