[论文解读] Enhancing Visual Fashion Recommendations with Users in the Loop

Anurag Bhardwaj, Vignesh Jagadeesh+3 more|arXiv (Cornell University)|May 15, 2014

Aesthetic Perception and Analysis参考文献 7被引用 5

一句话总结

本文提出了一种以用户为中心的视觉时尚推荐系统，通过整合用户偏好与视觉感知原理，提升推荐质量。通过采用随机化、感知意识的建模技术（尤其是针对简单与复杂图案），该研究证明用户认可的推荐结果显著改善，SFR（随机时尚推荐）在所有时尚类别中均优于DFR（数据驱动时尚推荐），在用户评分速度与美学吸引力方面表现更优。

ABSTRACT

We describe a completely automated large scale visual recommendation system for fashion. Existing approaches have primarily relied on purely computational models to solving this problem that ignore the role of users in the system. In this paper, we propose to overcome this limitation by incorporating a user-centric design of visual fashion recommendations. Specifically, we propose a technique that augments 'user preferences' in models by exploiting elasticity in fashion choices. We further design a user study on these choices and gather results from the 'wisdom of crowd' for deeper analysis. Our key insights learnt through these results suggest that fashion preferences when constrained to a particular class, contain important behavioral signals that are often ignored in recommendation design. Further, presence of such classes also reflect strong correlations to visual perception which can be utilized to provide aesthetically pleasing user experiences. Finally, we illustrate that user approval of visual fashion recommendations can be substantially improved by carefully incorporating these user-centric feedback into the system framework.

研究动机与目标

• 解决纯粹计算型时尚推荐模型忽略用户输入与行为信号的局限性。
• 探究用户在时尚选择中的偏好如何与视觉感知复杂度及审美判断相关联。
• 设计并评估一种用户参与的推荐系统，通过整合用户对视觉匹配的众包反馈，提升推荐质量。
• 确定随机化建模时尚推荐是否能带来比确定性模型更美观且更受用户认可的结果。
• 识别用户共识与视觉感知效应最显著的时尚类别（例如：简单图案 vs. 复杂图案）。

提出的方法

• 通过Amazon Mechanical Turk开展大规模用户研究，收集用户在8种图案类型上的视觉时尚推荐评分。
• 基于视觉复杂度理论，将时尚图案分为两类：简单（波点、纯色、条纹、格子）与复杂（动物、花卉、几何、佩斯利）。
• 实现两种推荐模型：DFR（数据驱动时尚推荐）与SFR（随机时尚推荐），其中SFR引入受控随机性，以建模用户在时尚选择上的弹性。
• 使用用户评分（优秀、良好、中性、差）与响应时间作为指标，评估不同时尚类别下模型的性能。
• 分析用户反馈，识别共识模式，尤其在高视觉复杂度类别中，并将其与视觉感知原理相关联。
• 通过评分分布与响应时间数据对比SFR与DFR的性能，评估用户偏好与认知处理负荷。

实验结果

研究问题

• RQ1 用户在视觉时尚推荐中的偏好如何与视觉感知复杂度相关联？
• RQ2 能否识别并利用用户对时尚匹配的共识来提升推荐质量？
• RQ3 在用户偏好中引入随机化建模是否能带来比确定性模型更美观且处理更快的推荐结果？
• RQ4 是否存在特定时尚类别（如图案类 vs. 纯色类），其中用户反馈与视觉复杂度的关联性更强？
• RQ5 用户参与反馈在多大程度上能提升视觉时尚推荐的相关性与用户认可度？

主要发现

• 用户在时尚匹配上表现出强烈共识，尤其在复杂图案组合中，图案类查询的‘差’评比例显著高于纯色类。
• 更多用户将涉及简单图案（如波点、纯色）的匹配评为‘优秀’，表明其偏好更强且更具美学吸引力。
• SFR模型的用户评分时间显著短于DFR模型，尤其在复杂图案类别中，表明其视觉处理负荷更低，感知流畅性更高。
• SFR在所有图案类别中均优于DFR，表现为‘优秀’评分比例更高，‘差’评比例更低，证明其用户认可度更高。
• 通过随机化建模整合用户偏好信号，显著提升了推荐的视觉美感与相关性，尤其在高复杂度视觉类别中表现突出。
• 用户反馈表明，视觉复杂度与用户偏好存在强相关性，验证了基于感知的分类方法（简单 vs. 复杂图案）作为时尚推荐系统关键设计原则的有效性。