[论文解读] Fashion Recommendation and Compatibility Prediction Using Relational Network

Maryam Moosaei, Yusan Lin+1 more|arXiv (Cornell University)|May 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 7

一句话总结

本文提出 FashionRN 和 FashionRN-VSE，这两种基于关系网络的模型能够学习任意数量和顺序的服饰搭配中的服饰搭配兼容性，利用视觉和语义特征。这些模型在包含 49,740 套搭配的 Polyvore 数据集上，在搭配预测和填空任务中均达到最先进性能，所学习到的嵌入表示捕捉了超越视觉相似性的搭配兼容性。

ABSTRACT

Fashion is an inherently visual concept and computer vision and artificial intelligence (AI) are playing an increasingly important role in shaping the future of this domain. Many research has been done on recommending fashion products based on the learned user preferences. However, in addition to recommending single items, AI can also help users create stylish outfits from items they already have, or purchase additional items that go well with their current wardrobe. Compatibility is the key factor in creating stylish outfits from single items. Previous studies have mostly focused on modeling pair-wise compatibility. There are a few approaches that consider an entire outfit, but these approaches have limitations such as requiring rich semantic information, category labels, and fixed order of items. Thus, they fail to effectively determine compatibility when such information is not available. In this work, we adopt a Relation Network (RN) to develop new compatibility learning models, Fashion RN and FashionRN-VSE, that addresses the limitations of existing approaches. FashionRN learns the compatibility of an entire outfit, with an arbitrary number of items, in an arbitrary order. We evaluated our model using a large dataset of 49,740 outfits that we collected from Polyvore website. Quantitatively, our experimental results demonstrate state of the art performance compared with alternative methods in the literature in both compatibility prediction and fill-in-the-blank test. Qualitatively, we also show that the item embedding learned by FashionRN indicate the compatibility among fashion items.

研究动机与目标

• 解决现有时尚搭配模型在固定物品顺序、类别标签或仅支持成对兼容性方面的局限性。
• 开发一种能够预测包含任意数量物品且无固定顺序的完整搭配兼容性的模型。
• 学习能够捕捉超越视觉相似性的视觉-语义嵌入表示。
• 在搭配预测和填空任务上评估模型，证明其在真实场景下的鲁棒性。

提出的方法

• 使用关系网络（RN）建模搭配中服饰物品之间的成对交互，通过聚合关系预测整体搭配兼容性。
• 采用类似孪生网络的双分支架构，计算搭配中所有物品对之间的兼容性得分。
• 整合来自预训练 DenseNet 的视觉特征，并在 FashionRN-VSE 中引入来自 CLIP 风格对比学习目标的视觉-语义嵌入（VSE）。
• 应用可微池化层，将关系得分聚合为整个搭配的单一兼容性得分。
• 端到端训练模型，使用对比损失优化：正样本搭配获得高兼容性得分，负样本搭配获得低得分。
• 使用 t-SNE 可视化并比较 FashionRN 和 DenseNet 学习到的物品嵌入，证明 FashionRN 实现了更具搭配感知能力的表示学习。

实验结果

研究问题

• RQ1 关系网络能否有效建模具有任意数量物品且无固定顺序的时尚搭配中的兼容性？
• RQ2 与现有最先进方法相比，该模型在搭配预测和填空任务中的表现如何？
• RQ3 所学习的物品嵌入在多大程度上反映了真实的时尚搭配兼容性，而非仅视觉相似性？
• RQ4 引入视觉-语义嵌入（VSE）是否能提升填空任务中对兼容候选者的排序性能？

主要发现

• FashionRN 在搭配预测任务中达到最先进性能，在 Polyvore 数据集上优于所有基线方法。
• 在填空测试中，FashionRN 达到最高准确率，大多数情况下被排除的物品位列前两名。
• 引入视觉-语义嵌入（FashionRN-VSE）进一步提升了性能，尤其在区分多个兼容候选者方面表现更优。
• t-SNE 可视化显示，FashionRN 嵌入将实际搭配中兼容的物品聚集在一起，而 DenseNet 嵌入则按视觉相似性聚类，证明 FashionRN 捕捉了超越外观的搭配兼容性。
• 该模型成功处理了不同大小和顺序的搭配，证明其对输入变化具有鲁棒性，且无需类别标签或固定排序。
• Bi-LSTM 基线表现较差，可能由于基准中存在噪声较大的负样本，凸显了所提方法在推理搭配兼容性而非依赖类别过滤方面的优势。