[论文解读] FashionNet: Personalized Outfit Recommendation with Deep Neural Network

Tong He, Yang Hu|arXiv (Cornell University)|Oct 4, 2018

3D Shape Modeling and Analysis参考文献 18被引用 17

一句话总结

FashionNet 提出了一种深度学习框架，通过两阶段训练策略联合建模商品兼容性和用户偏好，实现个性化穿搭推荐。该框架使用卷积神经网络（CNN）进行特征提取，全连接网络进行兼容性打分，并通过微调实现个性化；实验表明，与基线模型相比，平均 NDCG 提升了 14.9%。

ABSTRACT

With the rapid growth of fashion-focused social networks and online shopping, intelligent fashion recommendation is now in great need. We design algorithms which automatically suggest users outfits (e.g. a shirt, together with a skirt and a pair of high-heel shoes), that fit their personal fashion preferences. Recommending sets, each of which is composed of multiple interacted items, is relatively new to recommender systems, which usually recommend individual items to users. We explore the use of deep networks for this challenging task. Our system, dubbed FashionNet, consists of two components, a feature network for feature extraction and a matching network for compatibility computation. The former is achieved through a deep convolutional network. And for the latter, we adopt a multi-layer fully-connected network structure. We design and compare three alternative architectures for FashionNet. To achieve personalized recommendation, we develop a two-stage training strategy, which uses the fine-tuning technique to transfer a general compatibility model to a model that embeds personal preference. Experiments on a large scale data set collected from a popular fashion-focused social network validate the effectiveness of the proposed networks.

研究动机与目标

• 为解决由多个兼容商品组成的个性化穿搭推荐挑战。
• 使用深度神经网络对多商品穿搭中的商品兼容性进行建模，克服传统协同过滤方法的局限性。
• 通过微调将通用兼容性模型适配到个体用户偏好，实现个性化推荐。
• 比较不同架构设计在穿搭推荐中联合表示学习与兼容性建模的性能表现。
• 在大规模真实世界时尚数据集上验证所提方法的有效性。

提出的方法

• 采用两阶段训练策略：首先在所有用户数据上预训练一个通用兼容性模型，然后使用用户特定数据进行微调。
• 使用深度卷积神经网络（CNN）作为特征网络，从时尚商品图像中提取语义嵌入。
• 多层全连接网络作为匹配网络，计算穿搭中商品特征之间的兼容性得分。
• 探索了三种架构：FashionNet A（共享特征与匹配网络）、FashionNet B（匹配前拼接特征）、FashionNet C（成对兼容性建模）。
• 在第二阶段应用微调，将通用模型适配到个体用户品味，同时对网络全部参数与部分参数微调进行消融实验。
• 模型在基于 Polyvore 的数据集上使用 NDCG@k 和 top-k 正样本穿搭数量作为评估指标。

实验结果

研究问题

• RQ1 不同架构设计在结合特征学习与兼容性建模时，对穿搭推荐性能有何影响？
• RQ2 使用微调的两阶段训练策略能否有效实现通用兼容性模型的个性化？
• RQ3 与仅微调匹配层相比，学习用户特定的特征表示是否能提升推荐准确率？
• RQ4 在 NDCG 和 top-k 推荐的召回率方面，所提方法与基线方法相比表现如何？
• RQ5 高阶兼容性建模（如联合建模与成对建模）对推荐质量有何影响？

主要发现

• FashionNet C 通过成对兼容性建模，性能优于 FashionNet B 和 A，在平均 NDCG 上相比基线模型提升了 14.9%。
• 两阶段训练策略显著提升性能，所有架构在第一阶段到第二阶段均有明显性能增益。
• 微调整个网络（包括特征提取器）的效果优于仅微调匹配网络，尽管计算成本更高。
• 全量微调与部分微调之间的性能差距表明，用户特定的特征学习可提升推荐准确率。
• FashionNet A 表现较差，归因于表示学习与兼容性学习不可分，凸显了解耦这两部分的优势。
• 结果表明，结合微调的深度学习方法在时尚个性化集合推荐中非常有效，尤其适用于用户-商品交互稀疏的场景。