[论文解读] Fashion DNA: Merging Content and Sales Data for Recommendation and Article Mapping

Christian Bracher, Sebastian Heinz+1 more|arXiv (Cornell University)|Sep 8, 2016

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 35

一句话总结

本文提出Fashion DNA，一种深度学习方法，通过联合建模内容（图像和标签）与销售数据，将时尚单品映射到共享嵌入空间中的密集向量。该方法通过学习客户特定的风格向量和通过内积计算的物品相似度，实现准确且抗冷启动的推荐。t-SNE可视化揭示了跨品类和风格的结构化时尚景观。

ABSTRACT

We present a method to determine Fashion DNA, coordinate vectors locating fashion items in an abstract space. Our approach is based on a deep neural network architecture that ingests curated article information such as tags and images, and is trained to predict sales for a large set of frequent customers. In the process, a dual space of customer style preferences naturally arises. Interpretation of the metric of these spaces is straightforward: The product of Fashion DNA and customer style vectors yields the forecast purchase likelihood for the customer-item pair, while the angle between Fashion DNA vectors is a measure of item similarity. Importantly, our models are able to generate unbiased purchase probabilities for fashion items based solely on article information, even in absence of sales data, thus circumventing the "cold-start problem" of collaborative recommendation approaches. Likewise, it generalizes easily and reliably to customers outside the training set. We experiment with Fashion DNA models based on visual and/or tag item data, evaluate their recommendation power, and discuss the resulting article similarities.

研究动机与目标

• 通过仅从内容学习物品表征，即使在缺乏先前销售数据的情况下，解决时尚推荐中的冷启动问题。
• 创建一个统一的嵌入空间，使物品相似度与客户购买可能性可通过向量运算进行度量。
• 使用单一训练模型，为未见过的客户和物品生成可解释且可泛化的风格向量。
• 通过降维技术揭示学习到的嵌入中的分层与语义结构。
• 实现个性化推荐，同时反映物品的客观属性与客户的主观偏好。

提出的方法

• 使用商品图像和专家标签作为输入，训练一个前馈神经网络以预测单个客户的购买行为。
• 提取顶层隐藏层的激活值，作为每个时尚单品的Fashion DNA（fDNA）向量，表征其语义与风格特征。
• 通过输出层权重推导出客户特定的风格向量，利用与fDNA向量的内积实现购买可能性预测。
• 模型采用双空间架构：fDNA空间用于物品，风格向量空间用于客户，相似度通过余弦距离度量，购买可能性通过点积度量。
• 对高维fDNA空间应用t-SNE降维，可视化揭示了自然聚类与跨时尚类别的结构化组织。
• 通过在客户购买历史上应用逻辑回归，使模型可泛化至未见客户，其性能与训练集客户几乎无差别。

实验结果

研究问题

• RQ1 在内容与销售数据上训练的深度神经网络，能否学习到一个统一的嵌入空间，同时捕捉物品相似度与客户购买可能性？
• RQ2 Fashion DNA在缺乏购买历史的情况下，对新物品与新客户能否提供高精度推荐？
• RQ3 fDNA空间在多大程度上反映了时尚中的有意义语义与类别结构，如性别、年龄组和风格聚类？
• RQ4 模型能否可靠泛化至训练集外的客户？其性能与协同过滤在冷启动场景下的表现相比如何？
• RQ5 通过t-SNE可视化时，fDNA空间中会浮现何种内在组织结构？其与人类可理解的时尚类别是否一致？

主要发现

• Fashion DNA模型即使在无销售数据的情况下，也能实现高质量推荐，有效解决新物品与新客户的冷启动问题。
• 模型对未见客户具有良好的泛化能力，当使用逻辑回归估计风格向量时，预测性能几乎与训练集中客户无异。
• fDNA空间的t-SNE可视化揭示了高度结构化的时尚景观，呈现出清晰、可解释的聚类，对应性别、年龄组及产品类别（如男装、女装、童装与孕妇装）。
• 模型捕捉到细微的风格差异，例如在鞋类聚类的外缘，鞋跟高度逐渐增加；从孕妇装到婴儿装再到童装，尺寸与年龄呈递增趋势。
• fDNA空间中男性与女性单品的混合程度极低，子类别如运动装与配饰在不同性别群体中均有复现，表明语义分离具有鲁棒性。
• 结果表明，结合视觉与标签特征可生成比单一模态更丰富、更具结构化的fDNA表征。