[论文解读] Learning Color Compatibility in Fashion Outfits

Heming Zhang, Xuewen Yang+4 more|arXiv (Cornell University)|Jul 5, 2020

Color Science and Applications参考文献 50被引用 8

一句话总结

本文提出了一种基于图的新颖框架，通过将成对物品关系建模为图中的节点，以学习时尚穿搭中的色彩搭配性，从而实现更优的搭配性预测与模板发现。采用弱监督学习方法，结合真实标签与伪标签数据，该方法取得了最先进性能，仅使用色彩信息的模型即可达到使用深度图像特征模型的性能水平，并能基于学习到的色彩搭配模板实现个性化推荐。

ABSTRACT

Color compatibility is important for evaluating the compatibility of a fashion outfit, yet it was neglected in previous studies. We bring this important problem to researchers' attention and present a compatibility learning framework as solution to various fashion tasks. The framework consists of a novel way to model outfit compatibility and an innovative learning scheme. Specifically, we model the outfits as graphs and propose a novel graph construction to better utilize the power of graph neural networks. Then we utilize both ground-truth labels and pseudo labels to train the compatibility model in a weakly-supervised manner.Extensive experimental results verify the importance of color compatibility alone with the effectiveness of our framework. With color information alone, our model's performance is already comparable to previous methods that use deep image features. Our full model combining the aforementioned contributions set the new state-of-the-art in fashion compatibility prediction.

研究动机与目标

• 解决时尚穿搭搭配性预测中长期被忽视的色彩搭配性作用问题。
• 开发一种数据驱动方法，直接从时尚数据中学习色彩搭配模板，避免依赖手工设计规则。
• 通过将整个穿搭建模为图，聚焦于物品间关系而非成对得分，从而提升搭配性预测性能。
• 通过联合学习聚类与搭配性，发现可解释的色彩搭配模板，实现个性化时尚推荐。

提出的方法

• 将时尚穿搭建模为图结构，其中每个成对物品关系作为节点，使图神经网络能够有效聚合搭配性信息。
• 提出一种新颖的图构建方法，将关注点从节点级表示转向边级表示，更有效地捕捉穿搭级搭配性。
• 采用弱监督学习方案，结合真实标签的二元标签与聚类生成的伪标签，用于模型训练。
• 将聚类整合到训练循环中，生成有意义且人类可解释的搭配模板，从而提升模型泛化能力。
• 对搭配良好的穿搭应用聚类，以发现不同的色彩搭配模式，如相似色彩或对比色对。
• 利用学习到的搭配模板，基于查询穿搭的色彩配置，实现个性化时尚推荐。

实验结果

研究问题

• RQ1 仅使用色彩信息是否能在时尚搭配性预测中实现与使用深度图像特征方法相媲美甚至更优的性能？
• RQ2 如何从真实世界时尚数据中学习可解释的色彩搭配模板，而无需依赖手工设计规则？
• RQ3 联合学习搭配性预测与聚类是否能提升模型性能并促进模板发现？
• RQ4 不同色彩搭配模式（如相似色 vs. 对比色）在学习到的穿搭聚类中如何体现？
• RQ5 学习到的色彩搭配模板是否能实现更灵活且个性化的时尚推荐？

主要发现

• 仅使用色彩信息，所提模型在性能上可与先前使用深度图像特征的最先进方法相媲美。
• 完整模型（结合基于图的搭配性学习与联合聚类）在FITB搭配性预测任务上创下新的最先进水平。
• 将伪标签聚类引入训练后，FITB准确率提升2%；与基线相比，联合学习使准确率提升6%。
• 可视化结果证实，模型学习到了清晰且可解释的色彩搭配模板，如使用相似色彩的穿搭或与中性色搭配的对比色对。
• 该模型不仅能按色彩相似性分组穿搭，更能依据潜在搭配模式进行分组，证明了有意义的模板发现能力。
• 基于学习到的色彩模板生成的推荐更具个性化与上下文感知性，能根据查询穿搭建议相似或对比色。