[论文解读] Algorithmic clothing: hybrid recommendation, from street-style-to-shop

Yu Qian, P.R. Giaccone+3 more|arXiv (Cornell University)|May 26, 2017

Human Pose and Action Recognition参考文献 1被引用 8

一句话总结

本文提出了一种混合视觉推荐系统，结合条件随机场（CRFs）进行服装分割和深度神经网络进行特征表示，以实现基于内容的、成对的时尚推荐。通过利用时尚博客中的街拍图片作为专家知识，系统构建了服装配对的联合共现矩阵，即使在用户偏好数据有限的情况下，也能实现准确且可扩展的推荐——通过成功检索到上衣与长裤、大衣与裙子等成对服饰得到验证。

ABSTRACT

In this paper we detail Cortexica's (https://www.cortexica.com) recommendation framework -- particularly, we describe how a hybrid visual recommender system can be created by combining conditional random fields for segmentation and deep neural networks for object localisation and feature representation. The recommendation system that is built after localisation, segmentation and classification has two properties -- first, it is knowledge based in the sense that it learns pairwise preference/occurrence matrix by utilising knowledge from experts (images from fashion blogs) and second, it is content-based as it utilises a deep learning based framework for learning feature representation. Such a construct is especially useful when there is a scarcity of user preference data, that forms the foundation of many collaborative recommendation algorithms.

研究动机与目标

• 通过减少对用户偏好数据的依赖，解决时尚推荐中的冷启动问题。
• 利用专家整理的街拍图片作为知识源，构建可扩展的、基于知识的推荐框架。
• 通过视觉特征学习，实现成对服装（如上衣与长裤）的内容驱动推荐。
• 基于现实世界中的时尚趋势，而非共购数据，构建服装共现的联合分布。
• 创建一个灵活且可部署的系统，支持多件商品推荐，并能适应季节性或人口统计趋势。

提出的方法

• 使用微调后的预训练VGG-16网络，专门用于时尚特定的分割和定位任务。
• 采用全卷积网络（FCNs）结合条件随机场（CRFs），实现精确的服装实例分割。
• 在DeepLab中应用空洞空间金字塔池化（ASPP），以增强多尺度目标与上下文编码。
• 利用深度神经网络从分割后的服装中提取高维视觉特征，用于基于内容的检索。
• 从街拍图片中构建联合共现矩阵，基于视觉相似性和风格趋势建模理想的服装搭配。
• 将街拍知识库与库存数据集成，将推荐结果约束在零售商实际可售商品范围内。

实验结果

研究问题

• RQ1 在缺乏用户行为数据的情况下，如何设计一种混合视觉推荐系统，使其能有效运行？
• RQ2 街拍图片在多大程度上可作为建模现实世界时尚搭配的可靠知识源？
• RQ3 基于深度学习的特征表示能否在协同过滤之外，进一步提升成对时尚推荐的准确性？
• RQ4 如何将分割与共现建模相结合，以生成可扩展的、基于内容的推荐？
• RQ5 使用实时时尚趋势（通过博客获取）与使用共购数据相比，对推荐相关性有何影响？

主要发现

• 系统成功推荐了如上衣与长裤、大衣与裙子等成对服装，推荐结果按共现矩阵中的联合频率排序。
• 将CRFs与FCNs结合显著提升了服装分割的准确性，减少了背景干扰对特征提取的影响。
• 使用街拍图片作为知识源，使系统能够比共购数据更准确地捕捉当前真实的时尚趋势。
• 该框架在云平台上展现出良好的可扩展性和可部署性，支持使用GPU加速的深度学习实现实时推理。
• 混合方法通过依赖视觉和专家知识而非用户偏好历史，有效缓解了冷启动问题。
• 该系统可扩展至多件商品推荐，未来可通过基于神经网络的函数逼近技术，发展为完整的衣橱推荐引擎。