[论文解读] Automatic Spatially-aware Fashion Concept Discovery

Xintong Han, Zuxuan Wu+6 more|arXiv (Cornell University)|Aug 3, 2017

Advanced Image and Video Retrieval Techniques参考文献 26被引用 36

一句话总结

本文提出了一种自动化的、具有空间感知能力的时尚概念发现方法，通过融合微调卷积神经网络（CNN）的语义词嵌入与空间激活图，将属性聚类为有意义的概念（例如，袖型、连衣裙长度）。该方法通过学习概念特定的子空间嵌入，提升了属性反馈检索性能，并实现了结构化的商品浏览，在Fashion200K数据集上达到了最先进性能。

ABSTRACT

This paper proposes an automatic spatially-aware concept discovery approach using weakly labeled image-text data from shopping websites. We first fine-tune GoogleNet by jointly modeling clothing images and their corresponding descriptions in a visual-semantic embedding space. Then, for each attribute (word), we generate its spatially-aware representation by combining its semantic word vector representation with its spatial representation derived from the convolutional maps of the fine-tuned network. The resulting spatially-aware representations are further used to cluster attributes into multiple groups to form spatially-aware concepts (e.g., the neckline concept might consist of attributes like v-neck, round-neck, etc). Finally, we decompose the visual-semantic embedding space into multiple concept-specific subspaces, which facilitates structured browsing and attribute-feedback product retrieval by exploiting multimodal linguistic regularities. We conducted extensive experiments on our newly collected Fashion200K dataset, and results on clustering quality evaluation and attribute-feedback product retrieval task demonstrate the effectiveness of our automatically discovered spatially-aware concepts.

研究动机与目标

• 解决在线购物中低级视觉特征与高级时尚属性之间的语义鸿沟问题。
• 从弱监督的图像-文本配对中自动发现具有空间感知能力的时尚概念，无需人工标注。
• 通过利用学习到的嵌入空间中的多模态语言规律，提升属性反馈的商品检索性能。
• 通过概念特定的子空间嵌入，实现对时尚商品的结构化浏览。

提出的方法

• 端到端微调GoogleNet，利用服装图像和商品描述学习联合视觉-语义嵌入空间。
• 从全局平均池化（GAP）特征生成属性激活图（AAMs），以捕捉属性被最强烈激活的空间位置。
• 将语义词向量（来自Word2Vec）与空间AAMs结合，形成具有空间感知能力的属性表示。
• 使用k-means或类似聚类方法，将具有空间感知能力的属性表示聚类为概念组（例如，领型、袖型）。
• 训练概念特定的子空间网络，基于单个概念对图像进行嵌入，以支持结构化探索。
• 利用视觉-语义空间中的多模态语言规律，在检索过程中隐式地去除或修正属性。

实验结果

研究问题

• RQ1 具有空间感知能力的属性表示是否能提升时尚属性聚类为有意义概念的性能？
• RQ2 与仅使用语义或仅使用视觉信息相比，结合语义与空间信息在属性反馈商品检索中是否能带来性能提升？
• RQ3 概念特定的子空间嵌入是否能有效支持时尚商品的结构化浏览？
• RQ4 所提出的方法在具有不同空间线索的多样化时尚类别中是否具备泛化能力？

主要发现

• 所提方法在所有五个时尚类别（上衣、连衣裙、夹克、长裤、裙子）中均达到最高的检索准确率，尤其在袖长、领型等具有强空间属性的类别中表现尤为突出。
• 在概念发现中结合语义与空间信息，相比仅使用词向量（Word2vec）或仅使用激活图（AAMs），性能显著更优。
• 该方法显著优于未采用概念发现的基线VSE模型，证明了结构化概念学习的价值。
• 针对连衣裙长度、颜色等概念的子空间嵌入可实现连续且可解释的可视化，使相似商品聚类在一起，支持直观的浏览体验。
• 系统能自动检测负向属性（例如，当用户期望“长袖”却出现“无袖”时），在无需显式用户输入的情况下提升检索精度。
• 对于缺乏强空间线索的长裤类别，性能提升有限，证实空间信息在属性具有空间定位特征时效益最大。