[论文解读] Complete the Look: Scene-based Complementary Product Recommendation

Wang-Cheng Kang, Eric Kim+3 more|arXiv (Cornell University)|Dec 4, 2018

Visual Attention and Saliency Detection参考文献 46被引用 5

一句话总结

本文提出了“搭配完整”（Complete the Look, CTL）任务，提出一种新颖的方法，利用卷积神经网络（CNNs）和注意力机制，从真实场景图像中推荐互补的时尚单品。该方法在兼容性预测任务上达到最先进性能，准确率达75.8%，与人类水平相当，并证明场景上下文显著提升了相比仅基于单品的方法的推荐质量。

ABSTRACT

Modeling fashion compatibility is challenging due to its complexity and subjectivity. Existing work focuses on predicting compatibility between product images (e.g. an image containing a t-shirt and an image containing a pair of jeans). However, these approaches ignore real-world 'scene' images (e.g. selfies); such images are hard to deal with due to their complexity, clutter, variations in lighting and pose (etc.) but on the other hand could potentially provide key context (e.g. the user's body type, or the season) for making more accurate recommendations. In this work, we propose a new task called 'Complete the Look', which seeks to recommend visually compatible products based on scene images. We design an approach to extract training data for this task, and propose a novel way to learn the scene-product compatibility from fashion or interior design images. Our approach measures compatibility both globally and locally via CNNs and attention mechanisms. Extensive experiments show that our method achieves significant performance gains over alternative systems. Human evaluation and qualitative analysis are also conducted to further understand model behavior. We hope this work could lead to useful applications which link large corpora of real-world scenes with shoppable products.

研究动机与目标

• 通过引入一项新任务——‘搭配完整’（CTL），弥合真实时尚场景与基于单品的推荐之间的差距。
• 解决学习场景-单品兼容性的挑战，该挑战因主观性、场景杂乱以及缺乏标注数据而复杂化。
• 设计一种数据构建方法，通过裁剪增强现有Street2Shop（STL）数据集，生成CTL任务的训练数据。
• 开发一种统一模型，通过在共享嵌入空间中使用类别引导的注意力机制，同时衡量全局与局部兼容性。
• 通过定量与定性评估，包括人类评估，检验模型与人类时尚感知的一致性。

提出的方法

• 采用基于裁剪的数据增强技术，从现有Street2Shop（STL）数据集中生成场景-单品配对，以支持CTL任务的训练。
• 使用深度卷积神经网络（CNNs）从场景图像和单品图像中学习全局图像嵌入。
• 通过区域提议网络或类似方法，从场景中的物体级区域提取局部嵌入。
• 应用类别引导的注意力机制，聚焦于场景中相关的视觉部分，提升场景与单品之间兼容性的估计。
• 在统一的风格空间中计算兼容性分数，结合全局与局部特征，预测单品与场景的搭配程度。
• 采用对比学习或排序损失进行端到端训练，以优化Top-K推荐性能。

实验结果

研究问题

• RQ1 场景图像能否提供有意义的上下文线索（如体型、季节、风格），从而在仅基于单品的模型之外，提升互补单品推荐的效果？
• RQ2 当现有数据集缺乏此类标注时，如何构建大规模、高质量的基于场景的互补单品推荐数据集？
• RQ3 通过类别引导注意力增强的统一嵌入空间（结合全局与局部特征），在多大程度上提升了兼容性预测性能？
• RQ4 在模糊或主观性较强的案例中，模型的性能与人类时尚判断的契合程度如何？
• RQ5 该模型是否能在无需领域特定微调的情况下，跨领域（如时尚与室内设计）实现泛化？

主要发现

• 所提模型在数据集标签基准上达到75.8%的准确率，优于所有基线模型，包括BPR-DAE与孪生网络。
• 模型达到人类水平表现，与同测试集上时尚专家的75.0%准确率相当。
• 在专家与数据集标签一致的非模糊子集上，模型准确率达65.0%，优于所有基线模型。
• 人类评估确认，模型的推荐结果与人类时尚感知一致，当以人类判断为真实标签时，该模型表现优于其他模型。
• 定性分析表明，该模型捕捉了超越简单颜色或形状匹配的复杂风格兼容性，例如在颜色差异存在时，更倾向于推荐极简风格的灯具而非对比强烈的款式。
• 注意力机制成功突出场景中相关视觉区域（如外衣或帽子），这些区域与高兼容性分数密切相关。