[论文解读] A Review of Modern Fashion Recommender Systems

Yashar Deldjoo, Fatemeh Nazary+5 more|arXiv (Cornell University)|Feb 6, 2022

Fashion and Cultural Textiles被引用 7

一句话总结

本综述全面回顾了现代时尚推荐系统，按目标（例如，搭配推荐、尺码预测）和辅助信息类型（用户、商品、上下文）对研究进行分类。它识别出关键挑战，评估了主要数据集和指标，并概述了未来方向，包括多模态学习、因果推理，以及与生成式AI和大语言模型（LLMs）的整合。

ABSTRACT

The textile and apparel industries have grown tremendously over the last few years. Customers no longer have to visit many stores, stand in long queues, or try on garments in dressing rooms as millions of products are now available in online catalogs. However, given the plethora of options available, an effective recommendation system is necessary to properly sort, order, and communicate relevant product material or information to users. Effective fashion RS can have a noticeable impact on billions of customers' shopping experiences and increase sales and revenues on the provider side. The goal of this survey is to provide a review of recommender systems that operate in the specific vertical domain of garment and fashion products. We have identified the most pressing challenges in fashion RS research and created a taxonomy that categorizes the literature according to the objective they are trying to accomplish (e.g., item or outfit recommendation, size recommendation, explainability, among others) and type of side-information (users, items, context). We have also identified the most important evaluation goals and perspectives (outfit generation, outfit recommendation, pairing recommendation, and fill-in-the-blank outfit compatibility prediction) and the most commonly used datasets and evaluation metrics.

研究动机与目标

• 为解决时尚推荐系统中的独特挑战，如数据稀疏性、冷启动问题和合身预测，这些挑战因商品周转率高和产品描述有限而加剧。
• 基于目标（例如，商品、搭配、尺码、可解释性）和辅助信息类型（用户、商品、上下文）建立时尚推荐系统研究的结构化分类体系。
• 识别并评估时尚推荐研究中广泛使用的最常见数据集、评估指标和基准实践。
• 突出新兴研究方向，包括多模态表征、因果推理，以及与生成式AI和大语言模型（LLMs）的整合。
• 为研究人员和从业者提供支持，以理解当前技术水平并识别时尚推荐系统中的开放性问题。

提出的方法

• 本文对时尚推荐系统进行了系统性文献综述，根据两个维度对现有工作进行分类：(1) 推荐目标（例如，搭配推荐、配对推荐、填空式兼容性预测）和 (2) 辅助信息类型（用户、商品、上下文）。
• 综合计算机视觉、自然语言处理和推荐系统领域超过150项研究的成果，映射时尚推荐系统的发展脉络，强调视觉和多模态表征的作用。
• 分析并比较了主要基准数据集（如DeepFashion、Dress Code、Polyvore）和评估指标（如准确率、精确率、召回率、覆盖率）在搭配和商品推荐任务中的应用。
• 研究了深度学习模型——特别是视觉-语言模型（如CLIP）和扩散模型（如DALL-E）——在增强时尚表征学习和生成多样化、兼容的搭配建议方面的角色。
• 探索了大语言模型（LLMs）和生成式AI在少样本和零样本推荐中的整合，利用提示工程缓解数据稀疏性和冷启动问题。
• 讨论了虚拟试穿和基于AR的系统潜力，以及对因果模型和可解释性模型的需求，以提升时尚推荐中的信任度和个性化水平。

Figure 1. (a) Personalized visual explanation by Chen et al . ( 2019a ) related to region of the fashion image based on user reviews; (b) Explainable outfit recommendation by Lin et al . ( 2020b ) using a neural attentive model; (c) outfit recommendation by Tangseng and Okatani ( 2020a ) , and (d) f

实验结果

研究问题

• RQ1 时尚推荐系统研究的主要目标和辅助信息类型是什么，如何用于分类？
• RQ2 时尚推荐研究中最常使用的数据集和评估指标有哪些？它们如何支持不同的推荐任务？
• RQ3 多模态和跨模态表征（如图文模型）如何改善时尚商品和搭配的表征学习？
• RQ4 生成式AI和大语言模型（LLMs）在缓解时尚推荐中的数据稀疏性和冷启动问题方面有哪些应用方式？
• RQ5 构建因果性、可解释性和交互式时尚推荐系统的关键挑战和未来研究方向是什么？

主要发现

• 最普遍的推荐目标是搭配推荐、配对推荐和填空式兼容性预测，其中搭配生成是主要的基准任务。
• DeepFashion和Polyvore等数据集被广泛使用，评估指标如准确率和精确率常被报告，但覆盖率和多样性仍被低估。
• 多模态模型如CLIP和ALBEF可通过利用弱配对的网络规模文本和图像数据实现零样本时尚理解，减少对昂贵标注的依赖。
• 生成模型如DALL-E和Stable Diffusion能够从文本生成逼真的时尚图像，从而支持新型推荐界面和个性化搭配生成。
• 大语言模型（LLMs）在少样本和零样本时尚推荐中展现出强大潜力，尤其通过提示工程推断兼容性和风格偏好。
• 因果建模和可解释性仍处于发展初期，但对构建可信系统至关重要，特别是在合身预测和风格兼容性决策方面。

Figure 2. Color extraction example from probabilistic color modelling of clothing items. Courtesy of (Al-Rawi and Beel, 2021 ) .