[论文解读] Context-Aware Visual Compatibility Prediction

Guillem Cucurull, Perouz Taslakian+1 more|arXiv (Cornell University)|Feb 10, 2019

Aesthetic Perception and Analysis参考文献 37被引用 9

一句话总结

本文提出一种上下文感知的图神经网络模型，用于视觉时尚搭配预测，通过利用兼容商品之间的关系信息来提升嵌入质量。通过将商品嵌入条件化于邻域上下文，该模型在Polyvore、Fashion-Gen和Amazon数据集上实现了最先进性能，且在推理过程中使用更多上下文时，准确率持续提升。

ABSTRACT

How do we determine whether two or more clothing items are compatible or visually appealing? Part of the answer lies in understanding of visual aesthetics, and is biased by personal preferences shaped by social attitudes, time, and place. In this work we propose a method that predicts compatibility between two items based on their visual features, as well as their context. We define context as the products that are known to be compatible with each of these item. Our model is in contrast to other metric learning approaches that rely on pairwise comparisons between item features alone. We address the compatibility prediction problem using a graph neural network that learns to generate product embeddings conditioned on their context. We present results for two prediction tasks (fill in the blank and outfit compatibility) tested on two fashion datasets Polyvore and Fashion-Gen, and on a subset of the Amazon dataset; we achieve state of the art results when using context information and show how test performance improves as more context is used.

研究动机与目标

• 解决现有时尚搭配模型仅孤立处理物品对、而未考虑上下文关系的局限性。
• 通过将每件商品的兼容物品集合（即关系上下文）融入嵌入学习过程，提升搭配预测性能。
• 研究在测试时使用不同量的邻域信息（上下文）对模型性能的影响。
• 展示模型在领域迁移（如跨性别风格适应）下的鲁棒性。
• 通过图神经网络整合上下文关系信息，建立时尚搭配预测的新最先进水平。

提出的方法

• 将时尚商品及其兼容性表示为异质图，其中节点为商品，边表示兼容性。
• 采用图自编码器框架，使用图卷积编码器通过聚合邻近兼容商品的特征来计算上下文感知的节点嵌入。
• 应用解码器，通过其上下文条件化嵌入（通常使用点积或类似相似度函数）计算商品对之间的搭配得分。
• 在已知兼容对上使用链接预测目标进行端到端训练，优化重构损失。
• 在推理过程中，对每个商品的k跳邻域进行条件化，以评估上下文深度对性能的影响。
• 通过在一种性别的服装上进行训练并在另一性别上进行测试，实现跨领域泛化，评估模型对风格和上下文变化的鲁棒性。

实验结果

研究问题

• RQ1 与仅基于成对的方法相比，从兼容商品中引入上下文信息在时尚搭配预测中有多大提升？
• RQ2 增加邻域上下文量（如k跳邻居）在多大程度上能提升模型在搭配任务上的性能？
• RQ3 与非上下文基线相比，上下文感知模型在未见领域（如跨性别时尚风格）上是否具有更好的泛化能力？
• RQ4 以商品图形式使用关系信息是否能带来标准时尚搭配基准上的最先进性能？
• RQ5 当逐步增加上下文时，模型在不同数据集（Polyvore、Fashion-Gen、Amazon）和不同任务（搭配完成、链接预测）上的性能如何变化？

主要发现

• 在Polyvore的FITB（填空）和搭配完整度任务上，该模型达到最先进性能，AUC从k=0时的0.76提升至k=15时的0.99。
• 在Fashion-Gen数据集上，性能随k值增加而稳步提升，k=10后趋于稳定，k=10时在“一起购买”链接预测任务中AUC达到0.94。
• 在Amazon数据集上，该模型在“也买了”链接预测任务中取得最先进结果（k=10时准确率达97.1%），显著优于k=0基线（57.9%）。
• 在跨性别迁移学习中，k=10的模型在男性服装上达到97.1%准确率，即使在女性服装上进行训练，也表现出对领域偏移的强大鲁棒性。
• 模型性能对上下文高度敏感：如图6所示，长裤与鞋子的搭配预测结果会因商品上下文不同而改变，导致选择不同的兼容鞋款。
• 关系上下文的使用使模型更具适应性和泛化能力，表现为在未见风格上性能提升，以及在不同性别类别间更好的迁移能力。