[论文解读] Deep Metric Learning via Facility Location

Hyun Oh Song, Stefanie Jegelka+2 more|arXiv (Cornell University)|Dec 5, 2016

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种新颖的深度度量学习框架，通过结构化预测方法直接优化聚类质量（以NMI衡量），在无需预处理三元组或成对样本的情况下，直接建模嵌入空间的全局结构。该方法在CUB200-2011、Cars196和Stanford Online Products数据集上均达到最先进性能，在NMI和Recall@K指标上均优于先前方法。

ABSTRACT

Learning the representation and the similarity metric in an end-to-end fashion with deep networks have demonstrated outstanding results for clustering and retrieval. However, these recent approaches still suffer from the performance degradation stemming from the local metric training procedure which is unaware of the global structure of the embedding space. We propose a global metric learning scheme for optimizing the deep metric embedding with the learnable clustering function and the clustering metric (NMI) in a novel structured prediction framework. Our experiments on CUB200-2011, Cars196, and Stanford online products datasets show state of the art performance both on the clustering and retrieval tasks measured in the NMI and Recall@K evaluation metrics.

研究动机与目标

• 解决当前深度度量学习方法仅关注小批量内局部成对或三元组关系的局限性。
• 开发一种考虑嵌入空间全局结构的训练框架，以提升聚类与检索性能。
• 消除对昂贵且僵化的数据准备步骤（如三元组或n元组构建）的依赖。
• 通过基于归一化互信息（NMI）的可微分、端到端可训练损失，直接优化聚类质量。
• 通过移除对预定义难负样本挖掘或成对构建的依赖，实现更灵活高效的采样策略。

提出的方法

• 使用结构化预测框架，确保真实聚类分配的得分高于任何其他分配，且差距达到结构化边界。
• 定义一个聚类得分函数F，用于评估嵌入空间中给定聚类分配的质量。
• 引入边界损失，最大化真实聚类得分与其他所有可能聚类之间的差异。
• 采用聚类得分的可微分松弛，以支持通过离散聚类分配进行反向传播。
• 利用深度神经网络的嵌入输出作为聚类得分函数的输入，实现端到端训练。
• 对最终嵌入应用ℓ2归一化，与先前最先进方法保持一致，以提升度量泛化能力。

实验结果

研究问题

• RQ1 是否一种建模嵌入空间全局聚类结构的深度度量学习框架，能在标准基准上超越基于局部成对或三元组的方法？
• RQ2 将NMI作为直接优化目标，是否能带来优于标准度量学习损失的聚类与检索性能？
• RQ3 基于结构化预测的损失是否能消除对三元组或成对数据预处理的需求，同时保持或提升性能？
• RQ4 与三元组学习（半硬负样本挖掘）、提升结构嵌入和N-pairs损失等最先进方法相比，所提方法表现如何？
• RQ5 由于其端到端、可微分的聚类目标，该方法是否能支持更灵活的数据采样策略？

主要发现

• 在CUB200-2011数据集上，所提方法实现了59.23的SOTA NMI得分，超越此前最佳的57.24（N-pairs）和56.50（提升结构嵌入）。
• 在CUB200-2011数据集上，该方法达到81.92的Recall@8，优于此前最佳的79.49（N-pairs）和79.63（提升结构嵌入）。
• 在Cars196数据集上，该方法实现NMI为59.04，Recall@8为87.81，超过此前最佳的57.79（N-pairs）和56.88（提升结构嵌入）。
• 在Stanford Online Products数据集上，该方法实现NMI为89.48，Recall@100为93.23，优于此前最佳的89.37（N-pairs）和88.65（提升结构嵌入）。
• t-SNE可视化结果表明，所学习的嵌入能有效将相似类别分组，即使在视角、姿态和光照存在显著变化时亦然。