[论文解读] Learning Embeddings for Product Visual Search with Triplet Loss and Online Sampling

Eric Dodds, Huy Nguyen+4 more|arXiv (Cornell University)|Oct 10, 2018

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种基于三元组损失的深度度量学习方法，结合在线批量困难采样，用于产品视觉搜索，在DeepFashion数据集上显著超越了先前的最先进方法，并在Stanford Online Products数据集上取得了具有竞争力的结果。通过调整采样策略以优先考虑同类别小批量样本，模型在训练过程中引入了域内图像对，从而提升了泛化能力。

ABSTRACT

In this paper, we propose learning an embedding function for content-based image retrieval within the e-commerce domain using the triplet loss and an online sampling method that constructs triplets from within a minibatch. We compare our method to several strong baselines as well as recent works on the DeepFashion and Stanford Online Product datasets. Our approach significantly outperforms the state-of-the-art on the DeepFashion dataset. With a modification to favor sampling minibatches from a single product category, the same approach demonstrates competitive results when compared to the state-of-the-art for the Stanford Online Products dataset.

研究动机与目标

• 通过使用深度度量学习为产品图像学习一个鲁棒的嵌入函数，以提升电子商务中的基于内容的图像检索性能。
• 通过提出一种在线采样策略，动态选择小批量内的困难负样本，解决大规模视觉搜索中三元组采样效率低下的问题。
• 在两个主要基准数据集（DeepFashion和Stanford Online Products）上，评估所提方法在不同采样策略下的有效性。
• 探究在训练过程中引入域内图像对（如消费者-消费者或店铺-店铺）是否能提升模型泛化能力，超越标准的跨域对比设置。
• 分析在何种情况下以及为何同类别小批量采样能提升性能，特别是在类别分离已经较强的数据集中。

提出的方法

• 使用在ImageNet上预训练的ResNet-50-v2主干网络，通过三元组损失进行微调，将查询图像和目录图像嵌入到共享度量空间中。
• 采用改进的“批量困难”采样策略：对于小批量中的每个锚点，负样本是从同一小批量中另一对正样本中选择的最相似正样本。
• 使用嵌入之间的余弦相似度作为检索度量：$ s(x,y) = \frac{f(x) \cdot f(y)}{||f(x)|| ||f(y)||} $。
• 应用标准三元组损失，边距$ m = 0.1 $：$ \mathcal{L}_{\text{triplet}} = \frac{1}{|T|} \sum_{(a,p,n) \in T} [s(a,n) - s(a,p) + m]_+ $。
• 提出一种变体采样策略，将小批量主要由同一产品类别的图像组成，以在较简单的数据集上提升梯度信号。
• 进行消融研究，比较仅使用跨域配对与包含所有匹配对（包括域内对）进行训练的效果，以评估数据效率的提升。

实验结果

研究问题

• RQ1 在产品视觉搜索基准上，采用小批量内负样本选择的在线批量困难三元组采样是否能显著提升检索性能？
• RQ2 在训练过程中包含域内图像对（如消费者-消费者或店铺-店铺）是否能提升模型泛化能力，超越标准的跨域设置？
• RQ3 所提采样策略在具有不同领域偏移和类别可分性的数据集（如DeepFashion和Stanford Online Products）上的性能表现如何？
• RQ4 小批量大小和采样策略对非零损失三元组比例及模型收敛性有何影响？
• RQ5 在何种场景下，同类别小批量采样比标准批量困难采样更有效？

主要发现

• 所提方法在DeepFashion消费者到店铺服装检索基准上达到了新的最先进性能，显著优于先前工作。
• 在训练中包含所有匹配对——尤其是域内对（消费者-消费者和店铺-店铺）——在DeepFashion上带来了可测量的性能提升，表明数据集大小和多样性是关键因素。
• 在Stanford Online Products数据集上，偏向同类别小批量的改进采样策略使非零损失三元组的比例提高了最多20个百分点，改善了模型信号质量。
• 该方法在Stanford Online Products上取得了具有竞争力的结果，与最先进水平相当或接近，尤其在使用较大小批量（最佳约48对）时表现更优。
• 小批量大小过小（如低于32对）会导致性能较差，因梯度信号不足；但当小批量大小超过48对后性能趋于饱和，表明收益递减。
• 同类别采样策略在较简单的数据集（如Stanford Online Products）上更有效，其中类别分离已较强，表明其有助于在易负样本已充分分离时进一步优化困难负样本。