[论文解读] Fashion Retrieval via Graph Reasoning Networks on a Similarity Pyramid

Zhanghui Kuang, Yiming Gao+5 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Image and Video Retrieval Techniques参考文献 54被引用 13

一句话总结

本文提出图推理网络（GRNet）用于时尚检索，通过将服装图像之间的多尺度局部与全局相似性建模为图结构的相似性金字塔，利用图卷积网络在不同尺度上推理节点间的相似性，从而提升显著服装组件的对齐效果，在DeepFashion数据集上实现26%的top-1准确率和75%的top-50准确率，优于先前方法10%或以上的关键指标，达到新的最先进性能。

ABSTRACT

Matching clothing images from customers and online shopping stores has rich applications in E-commerce. Existing algorithms encoded an image as a global feature vector and performed retrieval with the global representation. However, discriminative local information on clothes are submerged in this global representation, resulting in sub-optimal performance. To address this issue, we propose a novel Graph Reasoning Network (GRNet) on a Similarity Pyramid, which learns similarities between a query and a gallery cloth by using both global and local representations in multiple scales. The similarity pyramid is represented by a Graph of similarity, where nodes represent similarities between clothing components at different scales, and the final matching score is obtained by message passing along edges. In GRNet, graph reasoning is solved by training a graph convolutional network, enabling to align salient clothing components to improve clothing retrieval. To facilitate future researches, we introduce a new benchmark FindFashion, containing rich annotations of bounding boxes, views, occlusions, and cropping. Extensive experiments show that GRNet obtains new state-of-the-art results on two challenging benchmarks, e.g., pushing the top-1, top-20, and top-50 accuracies on DeepFashion to 26%, 64%, and 75% (i.e., 4%, 10%, and 10% absolute improvements), outperforming competitors with large margins. On FindFashion, GRNet achieves considerable improvements on all empirical settings.

研究动机与目标

• 为解决时尚检索中全局特征表示的局限性，该局限性会掩盖如标志或图案等具有判别性的局部细节。
• 通过联合建模全局与局部相似性，提升在遮挡、裁剪和视角变化等变化下的匹配鲁棒性。
• 开发一种基于图的推理机制，以自适应方式在多尺度上优化相似性分数。
• 引入一个新的基准数据集FindFashion，包含丰富的遮挡、裁剪、视角和边界框标注，以支持未来研究。

提出的方法

• 构建一个相似性金字塔，其中节点代表多尺度下图像局部与全局区域之间的相似性，形成图结构。
• 将每个节点表示为查询图像与图库图像中对应图像块之间的归一化相似性分数。
• 应用图卷积网络（GCNs）在边上传递消息，实现节点间推理，从而优化相似性分数。
• 引入同尺度连接（同一尺度内）和跨尺度连接（不同尺度之间），以增强特征优化。
• 采用多尺度特征提取策略，利用CNN在不同分辨率下生成区域级特征，用于相似性计算。
• 使用对比损失端到端训练GRNet，以优化相似性图上的匹配性能。

实验结果

研究问题

• RQ1 与仅使用全局表示相比，对服装组件之间多尺度相似性的建模是否能提升检索准确率？
• RQ2 相似性图中的同尺度与跨尺度连接如何影响时尚检索的性能？
• RQ3 在图推理作用于相似性金字塔时，能在多大程度上缓解因遮挡、裁剪和视角变化导致的性能下降？
• RQ4 所提出的GRNet在诸如困难裁剪或遮挡等多样化挑战性场景下是否具有良好的泛化能力？
• RQ5 新提出的FindFashion基准在评估和分析现实变化下的检索性能方面是否有效？

主要发现

• 在DeepFashion基准上，GRNet实现26% top-1准确率、64% top-20准确率和75% top-50准确率，分别较之前最先进方法提升4%、10%和10%的绝对值。
• 在Street2Shop基准上，GRNet在所有五个类别（上衣、连衣裙、裙子、长裤和外穿衣物）中均取得新的最先进结果。
• 消融实验表明，图推理使top-1准确率提升11.6%的绝对值，其中跨尺度连接带来额外+1.15%的提升，同尺度连接带来+0.9%的提升。
• 随着尺度层级的增加，GRNet表现出一致的性能增益，2×2和3×3配置分别达到73% top-50准确率，表明多尺度建模增强了表征能力。
• 在新提出的FindFashion基准上，GRNet在Easy协议下实现65.1% top-20准确率，Hard-View下为57.9%，Hard-Occlusion下为35.0%，Hard-Cropping下为48.4%，优于KPM和基线模型。
• 该模型对超参数选择具有鲁棒性，在不同投影维度和通道数下均无显著性能下降，表明其具备稳定性与泛化能力。