[论文解读] Exploiting Latent Codes: Interactive Fashion Product Generation, Similar Image Retrieval, and Cross-Category Recommendation using Variational Autoencoders

James-Andrew Sarmiento|arXiv (Cornell University)|Sep 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 4

一句话总结

本文提出了一种基于变分自编码器（VAE）的统一框架，用于交互式时尚产品生成、相似图像检索以及跨类别推荐。通过利用学习到的潜在编码，该方法实现了通过滑块控制的用户定制化产品设计，采用固定-epsilon采样下的对数似然和欧氏距离进行检索，并在聚类任务中实现了高达0.95的mAP和0.98的F1分数。

ABSTRACT

The rise of deep learning applications in the fashion industry has fueled advances in curating large-scale datasets to build applications for product design, image retrieval, and recommender systems. In this paper, the author proposes using Variational Autoencoder (VAE) to build an interactive fashion product application framework that allows the users to generate products with attributes according to their liking, retrieve similar styles for the same product category, and receive content-based recommendations from other categories. Fashion product images dataset containing eyewear, footwear, and bags are appropriate to illustrate that this pipeline is applicable in the booming industry of e-commerce enabling direct user interaction in specifying desired products paired with new methods for data matching, and recommendation systems by using VAE and exploiting its generated latent codes.

研究动机与目标

• 通过属性滑块实现用户控制的定制化产品设计，以应对电商业务中对交互式、用户驱动的时尚产品设计的需求。
• 通过利用VAE学习到的解耦且正则化的潜在表示，提升时尚类别内的相似性检索性能。
• 通过在潜在空间中匹配用户生成的产品概念与其它类别的商品，实现跨类别时尚推荐。
• 证明单一VAE架构在生成、检索和推荐等电商业务任务中协同工作的可行性。
• 评估两种潜在编码利用策略——对数似然最大化与固定-epsilon采样——在图像检索与聚类任务中的有效性。

提出的方法

• 在时尚数据集（眼镜、鞋履、包袋）上训练VAE，以学习具有均值μ和标准差σ的正则化连续潜在空间。
• 应用重参数化技巧（z = μ + σ² ⊙ ε，ε ~ N(0,1)），以支持反向传播并实现VAE的端到端训练。
• 通过用户控制的滑块对潜在向量进行插值或修改，利用学习到的潜在编码实现交互式产品生成。
• 采用两种方法进行相似图像检索：(1) 最大化潜在编码的对数似然；(2) 在固定-epsilon采样的潜在向量上计算欧氏距离。
• 使用K-means对潜在编码进行聚类，聚类中心用于引导跨类别推荐。
• 通过在不同类别的聚类中使用相同的检索技术，寻找最相似的图像，从而生成跨类别推荐。

实验结果

研究问题

• RQ1 单一VAE架构能否有效支持交互式时尚产品生成、相似图像检索与跨类别推荐？
• RQ2 不同潜在编码利用策略——对数似然最大化与固定-epsilon采样下的欧氏距离——如何影响检索性能？
• RQ3 VAE学习到的潜在编码在时尚电商业务中在支持有意义聚类与跨类别推荐方面的能力有多强？
• RQ4 在数据不平衡条件下，该框架在检索准确率与聚类质量方面的表现如何？
• RQ5 潜在空间中的用户控制属性调整能否生成语义一致且视觉上合理的时尚产品？

主要发现

• 该框架在top-10、top-25和top-50的相似图像检索中，mAP最高达到0.95，且固定-epsilon采样方法优于对数似然最大化方法。
• 使用潜在编码进行K-means聚类的F1分数高达0.98，即使在数据不平衡条件下也表现出色，表明聚类质量优异。
• 固定-epsilon采样方法生成了更一致的跨类别推荐，例如将带有蓝色调的眼镜与蓝色的包袋和鞋履配对，体现了颜色与图案的一致性。
• 对数似然最大化方法更注重纹理与颜色相似性，而固定-epsilon采样方法则更强调结构与属性层面的一致性。
• 两种检索方法在第一名为同一图像时表现一致，但在第二名与第三名匹配上出现差异，表明其检索行为具有独特性。
• 统一的VAE流程成功将产品生成、检索与推荐整合至单一架构中，减少了电商业务系统中对多个模型的依赖。