[论文解读] Learning Type-Aware Embeddings for Fashion Compatibility

Mariya I. Vasileva, Bryan A. Plummer+4 more|arXiv (Cornell University)|Mar 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 25

一句话总结

本文提出了一种类型感知的嵌入模型，通过将共享图像嵌入投影到特定类型的子空间中，联合学习时尚单品的相似性与搭配性。通过按单品类型解耦搭配评分，该方法避免了不合理的传递关系，并支持多样化、上下文感知的查询，相较于先前的最先进方法，在搭配任务和填空式搭配基准上实现了3-5%的性能提升。

ABSTRACT

Outfits in online fashion data are composed of items of many different types (e.g. top, bottom, shoes) that share some stylistic relationship with one another. A representation for building outfits requires a method that can learn both notions of similarity (for example, when two tops are interchangeable) and compatibility (items of possibly different type that can go together in an outfit). This paper presents an approach to learning an image embedding that respects item type, and jointly learns notions of item similarity and compatibility in an end-to-end model. To evaluate the learned representation, we crawled 68,306 outfits created by users on the Polyvore website. Our approach obtains 3-5% improvement over the state-of-the-art on outfit compatibility prediction and fill-in-the-blank tasks using our dataset, as well as an established smaller dataset, while supporting a variety of useful queries.

研究动机与目标

• 为解决单空间嵌入在时尚搭配建模中的局限性，即类型无关的表示会因传递性聚类导致不兼容的物品被拉近。
• 通过学习类型特定的搭配空间，实现复杂、上下文感知的时尚查询（如为某件单品寻找多样化的兼容替换品）。
• 通过统一的、端到端可训练的模型，在尊重单品类型的基础上，提升标准时尚搭配与搭配补全任务的性能。

提出的方法

• 使用图像特征与文本描述之间的视觉-语义损失，学习共享图像嵌入空间，确保语义相似的物品在全局空间中彼此接近。
• 针对搭配性，通过学习的投影将全局嵌入映射到类型特定的子空间中，对每对物品类型（如上装-鞋履、下装-珠宝）使用独立的投影。
• 在类型特定的嵌入空间中使用广义距离度量计算搭配分数，实现细粒度、上下文依赖的搭配判断。
• 采用类似孪生网络的架构与三元组损失进行端到端训练，联合优化相似性与搭配性。
• 构建了一个包含68,306个用户创建的搭配组合的新数据集（来自Polyvore），以支持在真实、多样的时尚组合上进行训练与评估。
• 使用t-SNE可视化分析全局与类型特定嵌入空间的结构，揭示了在颜色、形状等外观因素上的专业化特征。

实验结果

研究问题

• RQ1 统一的嵌入模型能否在尊重单品类型差异的前提下，联合学习时尚单品的相似性与搭配性？
• RQ2 与类型无关的基线方法相比，类型感知的投影在标准搭配与搭配补全基准上的性能提升程度如何？
• RQ3 与全局空间相比，特定类型的嵌入空间在编码不同视觉属性（如颜色、形状）方面的专业化程度如何？
• RQ4 该模型能否支持复杂、几何化的时尚查询（如寻找视觉上多样化的兼容替换品），而这是先前模型无法处理的？
• RQ5 当训练集与测试集之间无重叠单品时，该模型在未见单品与搭配上的泛化能力如何？

主要发现

• 在作者自建的大规模数据集和一个已建立的小型基准上，该方法在搭配预测任务中实现了5%的性能提升，在填空式搭配补全任务中实现了4%的性能提升，均优于先前最先进方法。
• 该模型显著优于类型无关的基线方法，避免了不合理的传递关系，例如不会因鞋履和上装都与帽子搭配，就错误地认为鞋履与上装也应搭配。
• 特定类型的嵌入空间在编码不同视觉属性方面表现出专业化特征——例如围巾-珠宝空间更强调形状，而全局空间则以颜色为主导，从而支持更细致的搭配建模。
• 该模型支持新颖且实用的查询，如为给定单品寻找多个视觉上差异显著的兼容替换品，而这是由于单空间设计限制，先前模型无法实现的功能。
• 即使在完全未见过的搭配组合上测试（训练集与测试集无共享单品），性能依然强劲，表明模型具备良好的泛化能力，且测试集多样性比训练集重叠度更为关键。