[论文解读] A Strong Baseline for Fashion Retrieval with Person Re-Identification Models

Mikołaj Wieczorek, Andrzej Michałowski+2 more|arXiv (Cornell University)|Mar 9, 2020

Face recognition and analysis参考文献 10被引用 13

一句话总结

该论文通过适配最先进的人体重识别（ReID）模型，提出了一种简单但极为有效的时尚检索基线方法，具体采用ResNet50-IBN-A主干网络与四元组损失（quadruplet loss）。尽管结构简单，该模型在Street2Shop（54.8 mAP，72.9 Acc@20）和DeepFashion（40.0 Acc@1，79.0 Acc@20）两个数据集上均取得了新的最先进性能，证明了仅通过极少的网络结构修改，即可有效将ReID模型迁移至时尚检索任务，并显著提升准确率。

ABSTRACT

Fashion retrieval is the challenging task of finding an exact match for fashion items contained within an image. Difficulties arise from the fine-grained nature of clothing items, very large intra-class and inter-class variance. Additionally, query and source images for the task usually come from different domains - street photos and catalogue photos respectively. Due to these differences, a significant gap in quality, lighting, contrast, background clutter and item presentation exists between domains. As a result, fashion retrieval is an active field of research both in academia and the industry. Inspired by recent advancements in Person Re-Identification research, we adapt leading ReID models to be used in fashion retrieval tasks. We introduce a simple baseline model for fashion retrieval, significantly outperforming previous state-of-the-art results despite a much simpler architecture. We conduct in-depth experiments on Street2Shop and DeepFashion datasets and validate our results. Finally, we propose a cross-domain (cross-dataset) evaluation method to test the robustness of fashion retrieval models.

研究动机与目标

• 探究在两项任务具有强相似性的情况下，是否可将为人重识别（ReID）预训练模型有效适配至时尚检索任务。
• 建立一种简单且高效的时尚检索基线，其性能超越以往更复杂、专为任务设计的模型。
• 通过一种新颖的跨域（跨数据集）评估协议，评估模型的鲁棒性，以模拟在不同数据分布下的真实世界部署场景。
• 证明从ReID到时尚检索的迁移学习可在极少网络结构修改下，实现显著的性能提升。

提出的方法

• 通过修改损失函数与训练策略，将领先的ReID模型（特别是采用ResNet50-IBN-A主干的RST模型）适配至时尚检索任务。
• 采用四元组损失函数，通过对比锚点、正样本与两个负样本，增强特征判别能力，从而提升嵌入质量。
• 使用全局平均池化与度量学习头，生成用于检索的图像嵌入，嵌入空间由模型端到端学习。
• 在推理后应用重排序策略，利用余弦相似度与特征重加权，优化top-k检索结果。
• 通过在某一数据集（如DeepFashion）上训练、在另一数据集（如Street2Shop）上测试的方式，开展跨域评估，以模拟领域偏移。
• 在全图库范围内执行无约束检索，以评估真实世界性能，避免评估中出现类别偏差。

实验结果

研究问题

• RQ1 尽管存在领域与内容差异，基于人重识别预训练的模型是否可被有效适配至时尚检索任务？
• RQ2 基于ReID模型构建的简单、非优化架构，是否能超越更复杂、专为任务设计的时尚检索模型？
• RQ3 在跨域设置下，ReID模型的性能在不同数据分布间如何泛化？
• RQ4 四元组损失与重排序在多大程度上提升了时尚检索的准确率？

主要发现

• 所提出的基于ReID的基线模型在Street2Shop数据集上取得了54.8 mAP与72.9 Acc@20的性能，创下新的最先进水平。
• 在DeepFashion数据集上，模型实现了40.0 Acc@1与79.0 Acc@20的性能，显著超越此前最先进方法。
• 尽管所用图像分辨率仅为此前方法的数分之一，模型仍表现出色，表明其具备高度效率与鲁棒性。
• 跨域评估显示，当在Street2Shop上训练、在DeepFashion上测试时，模型在DeepFashion上达到37.7 Acc@1，表明所学表征具有良好的可迁移性。
• 重排序策略在所有指标上均提升了性能，其中Street2Shop的mAP相对提升达7.5%，证明其在优化top-k结果中的有效性。
• 四元组损失相比三元组损失带来了可测量的性能增益，尤其在减少细粒度检索中的误报方面表现显著。