[论文解读] CRAFT: Complementary Recommendations Using Adversarial Feature Transformer

Cong Phuoc Huynh, Arridhana Ciptadi+2 more|arXiv (Cornell University)|Apr 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 6

一句话总结

CRAFT 提出了一种无监督的、对抗性的特征转换框架，通过学习图像特征中的视觉共现模式，生成多样化且互补的服装推荐。通过在特征空间而非原始图像上训练条件生成变换器，CRAFT 生成了高质量、多样化的推荐结果，在人类评估中表现优于基线模型，尤其在特征空间的低密度区域表现更优。

ABSTRACT

Traditional approaches for complementary product recommendations rely on behavioral and non-visual data such as customer co-views or co-buys. However, certain domains such as fashion are primarily visual. We propose a framework that harnesses visual cues in an unsupervised manner to learn the distribution of co-occurring complementary items in real world images. Our model learns a non-linear transformation between the two manifolds of source and target complementary item categories (e.g., tops and bottoms in outfits). Given a large dataset of images containing instances of co-occurring object categories, we train a generative transformer network directly on the feature representation space by casting it as an adversarial optimization problem. Such a conditional generative model can produce multiple novel samples of complementary items (in the feature space) for a given query item. The final recommendations are selected from the closest real world examples to the synthesized complementary features. We apply our framework to the task of recommending complementary tops for a given bottom clothing item. The recommendations made by our system are diverse, and are favored by human experts over the baseline approaches.

研究动机与目标

• 为解决仅使用视觉线索、不依赖标注共现数据，生成多样化且视觉上互补的服装推荐的挑战。
• 克服传统协同过滤和最近邻方法在特征空间低密度区域的局限性。
• 开发一种框架，直接从现实世界图像数据中无监督地学习互补物品对（如上衣与下装）的联合分布。
• 通过生成互补物品的新颖特征表示而非图像合成，提升推荐的多样性与相关性。
• 通过专家评估验证该方法的有效性，特别是在稀有或低频查询物品的情境下。

提出的方法

• CRAFT 采用基于对抗优化训练的条件生成变换器网络，学习源物品与目标物品特征流形之间的非线性变换（例如，从下装到上装）。
• 该模型以查询物品的特征嵌入和随机噪声向量作为输入，在潜在空间中生成互补物品的特征表示。
• 通过在预索引的真实商品特征空间中进行最近邻搜索来检索推荐结果，确保推荐结果真实且具有视觉依据。
• 对抗性训练目标定义在特征空间中，避免了图像生成的需要，提升了训练稳定性并避免了模式崩溃。
• 该框架在真实世界图像数据上进行训练，假设共现的物品对表示互补关系。
• 在人类评估中应用归一化方案，以校正时尚专家个体偏见，使用查询服装实际搭配的上装作为参考。

实验结果

研究问题

• RQ1 无监督的、基于特征空间的生成模型是否能在不依赖共购或共视数据的情况下，生成多样化且互补的时尚推荐？
• RQ2 在特征空间的低密度区域，所提出的 CRAFT 模型与最近邻及基线方法相比表现如何？
• RQ3 时尚专家在多大程度上更偏好 CRAFT 生成的推荐，而非其他竞争方法的推荐？
• RQ4 CRAFT 中的条件生成变换器在不同查询物品密度下（包括稀有或不常见的物品）是否具备良好的泛化能力？
• RQ5 在特征空间中进行对抗性训练是否能提升推荐的多样性与相关性，同时保持稳定性并避免模式崩溃？

主要发现

• CRAFT 获得了 70.3% ± 1.4 的最高人类专家接受率，显著优于最近邻基线（66.5% ± 1.4）和其他基线模型。
• 在高密度区域（例如蓝色牛仔裤等流行下装），CRAFT 与最近邻方法表现相似，置信区间重叠。
• 在中等和低密度区域（例如稀有或图案化的裙子），CRAFT 保持了稳定性能，而最近邻基线显著退化，接近随机基线水平。
• 在中等和低密度区域，CRAFT 与最近邻方法之间的性能差距具有统计显著性，证明了 CRAFT 的泛化能力。
• 将查询服装实际搭配的上装包含在推荐集合中，实现了可靠的归一化，确保专家偏见不会扭曲接受率比较。
• CRAFT 通过在特征空间中建模共现物品的联合分布，成功生成了多样化、相关性强且视觉上可信的推荐，即使对于稀有查询物品也表现良好。