[论文解读] Interpretable Partitioned Embedding for Customized Fashion Outfit Composition

Zunlei Feng, Zhenyun Yu+4 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 3

一句话总结

本文提出了一种分块嵌入网络，通过自编码器、有监督的属性标签以及对抗性独立性约束，学习时尚单品的可解释、属性特定的表征。该方法实现了基于透明属性级匹配分数的个性化穿搭组合，显著提升了现有深度学习方法在可解释性和用户满意度方面的表现。

ABSTRACT

Intelligent fashion outfit composition becomes more and more popular in these years. Some deep learning based approaches reveal competitive composition recently. However, the unexplainable characteristic makes such deep learning based approach cannot meet the the designer, businesses and consumers' urge to comprehend the importance of different attributes in an outfit composition. To realize interpretable and customized fashion outfit compositions, we propose a partitioned embedding network to learn interpretable representations from clothing items. The overall network architecture consists of three components: an auto-encoder module, a supervised attributes module and a multi-independent module. The auto-encoder module serves to encode all useful information into the embedding. In the supervised attributes module, multiple attributes labels are adopted to ensure that different parts of the overall embedding correspond to different attributes. In the multi-independent module, adversarial operation are adopted to fulfill the mutually independent constraint. With the interpretable and partitioned embedding, we then construct an outfit composition graph and an attribute matching map. Given specified attributes description, our model can recommend a ranked list of outfit composition with interpretable matching scores. Extensive experiments demonstrate that 1) the partitioned embedding have unmingled parts which corresponding to different attributes and 2) outfits recommended by our model are more desirable in comparison with the existing methods.

研究动机与目标

• 解决基于深度学习的时尚穿搭组合系统中可解释性不足的问题。
• 使设计师、企业和消费者能够理解单个属性（例如颜色、形状）在穿搭决策中的贡献。
• 开发一种弱监督框架，仅从原始穿搭数据中学习，无需质量评分。
• 通过迭代模型更新支持对不断演变的时尚趋势的动态适应。
• 基于用户指定的属性偏好，提供具有可解释匹配分数的个性化穿搭推荐。

提出的方法

• 使用自编码器模块将服装单品的视觉特征压缩到共享嵌入空间。
• 引入有监督属性模块，强制特定嵌入子向量对应预定义属性（例如颜色、形状）。
• 采用对抗性训练的多独立模块，确保每个嵌入部分相互独立，且仅捕捉其指定属性。
• 利用分块嵌入构建时尚穿搭图，其中节点表示属性聚类，边表示单品兼容性。
• 构建属性匹配图，量化每个属性对整体穿搭组合得分的贡献。
• 通过使用新穿搭数据重新加权组合图，实现迭代模型更新，支持对新兴趋势的实时适应。

实验结果

研究问题

• RQ1 我们能否学习到一种分块嵌入，将不同时尚属性（例如颜色、形状）解耦为独立且可解释的组件？
• RQ2 所提出的多独立约束在确保每个嵌入部分仅捕捉单一属性方面的有效性如何？
• RQ3 该模型能否基于用户指定的属性生成个性化穿搭推荐，并提供透明的属性级匹配分数？
• RQ4 当逐步添加新数据时，该模型在适应不断演变的时尚趋势方面表现如何？
• RQ5 仅依赖穿搭级别数据而无需质量评分的弱监督方法，在用户满意度和可解释性方面是否优于现有方法？

主要发现

• 分块嵌入成功将不同属性分离为独立的子向量，t-SNE可视化显示颜色和形状分量呈现出清晰的聚类。
• 多独立约束有效防止了跨属性泄漏，表现为具有相似纹理或风格的包被分组在一起，即使颜色和形状不同。
• 与基线方法相比，该模型推荐的穿搭获得了更高的用户满意度评分，尤其在用户指定颜色或形状等属性时表现更优。
• 模型提供的属性匹配分数与人类感知一致——颜色和形状属性对最终组合得分的贡献大于其他残差属性。
• 迭代模型更新机制成功追踪了随时间演变的时尚趋势，可视化结果表明其与2007至2017年间的年度风格变化保持一致。
• 该模型对新数据泛化能力良好，在无需从头训练的情况下，通过更新组合图即可保持高性能。