[论文解读] An Effective Pipeline for a Real-world Clothes Retrieval System

Yang-Ho Ji, HeeJae Jun+8 more|arXiv (Cornell University)|May 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 4

一句话总结

本文提出了一种稳健的三阶段流水线，用于在真实世界场景中进行服装检索，结合了检测、基于度量学习的检索以及后处理技术。通过整合加权框融合（WBF）与特征拼接，该方法在DeepFashion2 2020挑战赛中获得第二名，测试集上的Acc@10达到0.854168，展现出在大规模时尚数据上的强大性能。

ABSTRACT

In this paper, we propose an effective pipeline for clothes retrieval system which has sturdiness on large-scale real-world fashion data. Our proposed method consists of three components: detection, retrieval, and post-processing. We firstly conduct a detection task for precise retrieval on target clothes, then retrieve the corresponding items with the metric learning-based model. To improve the retrieval robustness against noise and misleading bounding boxes, we apply post-processing methods such as weighted boxes fusion and feature concatenation. With the proposed methodology, we achieved 2nd place in the DeepFashion2 Clothes Retrieval 2020 challenge.

研究动机与目标

• 开发一种稳健且可扩展的流水线，用于大规模数据集上的真实世界时尚图像检索。
• 通过解决检测输出中的噪声和不一致边界框，提升检索准确性。
• 通过集成学习和后处理技术增强特征表示。
• 在真实世界基准（特别是DeepFashion2 2020服装检索挑战赛）中实现最先进性能。

提出的方法

• 流水线由三个部分组成：目标检测、基于度量学习的检索以及后处理，以提升鲁棒性。
• 使用五种最先进目标检测器（如ATSS、Cascade Mask R-CNN）生成精确的服装边界框。
• 采用结合全局描述符（CGD）的度量学习模型，学习具有判别力的特征嵌入以用于检索。
• 应用加权框融合（WBF）合并多个检测器的预测结果，减少不一致性并提升定位精度。
• 通过拼接来自多个深度网络的L2归一化嵌入，丰富特征表示并提升检索性能。
• 评估了包括k-互惠重排序和数据库端增强在内的后处理技术，但仅WBF和特征拼接被证明有效。

实验结果

研究问题

• RQ1 如何设计一个检索流水线，使其在具有噪声和多样化输入的大规模真实世界时尚数据集上保持高性能？
• RQ2 在检测输出不一致的情况下，WBF和特征拼接等后处理技术在多大程度上能提升检索准确性？
• RQ3 在真实世界服装检索系统中，哪些检测模型与检索架构的组合能实现最优性能？
• RQ4 为何某些后处理方法（如PCA白化和查询扩展）尽管理论上有潜力，却未能提升性能？

主要发现

• 所提出的流水线在DeepFashion2 2020测试集上实现了0.854168的Acc@10，获得挑战赛第二名。
• 使用五种检测器的加权框融合（WBF₅）提升了检测性能，当与集成检索结合时，Acc@10从0.869435提升至0.877192。
• 通过WBF₅融合17个模型的嵌入并进行特征拼接，在验证集上将Acc@10提升至0.888341，显示出显著的性能增益。
• k-互惠重排序在处理126k个框时使Acc@10提升了0.02，但并未超越仅通过WBF将框数减少至440k的简单方法。
• PCA白化和查询扩展（QE）导致性能下降，表明对于此任务，全维特征拼接更为可取。
• 该方法在时尚领域之外也表现出良好的泛化能力，具有在家具、美妆产品和玩具等视觉搜索中的潜在应用价值。