[论文解读] Improved Embeddings with Easy Positive Triplet Mining

Hong Xuan, Abby Stylianou+1 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 25被引用 7

一句话总结

本文提出了一种名为 Easy Positive Triplet Mining 的简单而高效的方法，该方法在训练过程中为每个锚点图像选择最相似（最简单）的正样本，从而提升嵌入表示的泛化能力。通过聚焦于最接近的正样本而非所有正样本，该方法在 CUB、SOP、In-Shop 和 Hotels-50K 数据集上实现了最先进性能，优于复杂的集成方法与基于损失函数的方法。

ABSTRACT

Deep metric learning seeks to define an embedding where semantically similar images are embedded to nearby locations, and semantically dissimilar images are embedded to distant locations. Substantial work has focused on loss functions and strategies to learn these embeddings by pushing images from the same class as close together in the embedding space as possible. In this paper, we propose an alternative, loosened embedding strategy that requires the embedding function only map each training image to the most similar examples from the same class, an approach we call "Easy Positive" mining. We provide a collection of experiments and visualizations that highlight that this Easy Positive mining leads to embeddings that are more flexible and generalize better to new unseen data. This simple mining strategy yields recall performance that exceeds state of the art approaches (including those with complicated loss functions and ensemble methods) on image retrieval datasets including CUB, Stanford Online Products, In-Shop Clothes and Hotels-50K.

研究动机与目标

• 为解决标准度量学习目标（将所有类内图像聚成一类）与真实世界查询行为之间的不匹配问题，后者中仅最相似的样本才具有实际意义。
• 探究聚焦于每个锚点图像的最简单正样本是否能提升高类内方差嵌入空间中的泛化能力。
• 提出并评估一种简单的挖掘策略，以聚焦且灵活的替代方案取代复杂的损失函数与集成方法。

提出的方法

• 该方法在每个批次中为每个锚点图像选择最相似（最近）的正样本，形成‘简单正样本’三元组。
• 使用标准三元组损失，结合基于边距的目标函数：max(0, ||f(x_a) - f(x_p)||_2 - ||f(x_a) - f(x_n)||_2 + margin)。
• 该方法结合了半硬负样本挖掘与简单正样本挖掘，以平衡难负样本与简单正样本的影响。
• 该训练策略在多种网络架构（ResNet18、ResNet50、GoogleNet）和数据集上应用，并对组大小与嵌入维度进行了消融实验。
• 该方法避免强制将所有类内图像聚集到单一簇中，从而支持多模态表示。
• 使用标准召回率指标（Recall@1、Recall@5、Recall@10）在 CUB、SOP、In-Shop、Hotels-50K 和 CAR 上进行评估。

实验结果

研究问题

• RQ1 聚焦于每个锚点图像的最简单正样本是否能提升深度度量学习中的泛化能力？
• RQ2 与标准三元组挖掘、Batch All、N-pair 及基于代理的方法相比，Easy Positive 挖掘在召回率表现上如何？
• RQ3 在类内方差较高的数据集上，一种简单的挖掘策略是否能超越复杂的集成方法与基于损失函数的最先进方法？
• RQ4 Easy Positive 挖掘是否能生成更具灵活性的多模态嵌入，从而更好地表征类别内多样的视觉外观？
• RQ5 Easy Positive 挖掘在不同网络架构与嵌入维度下的性能表现如何变化？

主要发现

• Easy Positive Semi-Hard Negative (EPSHN) 方法在 CUB-200 数据集上实现了新的最先进 Recall@1 性能（88.9%），超越了复杂的集成方法如 ABE 和 DREML。
• 在 Stanford Online Products (SOP) 数据集上，该方法实现了报告的最佳 Recall@1 性能，展现出在大规模、高方差数据集上的强大表现。
• 在 In-Shop Clothes 和 Hotels-50K 数据集上，EPSHN 方法达到了最先进结果，其中 Hotels-50K 的准确率超过原始 Batch All 基线的两倍。
• 通过 t-SNE 可视化显示，该方法在泛化能力上优于 N-pair 和 Batch All，EPSHN 的嵌入更分散，且更符合测试数据的分布。
• 在 CAR 和 CUB 数据集上，EPSHN 在 ResNet18、ResNet50 和 GoogleNet 架构上均优于所有其他简单基线方法（三元组、N-pair、代理损失）。
• 该方法在不同架构与嵌入维度下均表现稳健，CUB 和 CAR 的最优组大小为 16，而类内样本较少的数据集最优组大小为 4。