[论文解读] Coherent and Controllable Outfit Generation

Chen Liu, Liu, Chen+1 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 15

一句话总结

本文提出了一种新颖的方法，通过文本查询引导服装搭配的生成，实现连贯且可控的时尚搭配。通过学习一种对齐图像与文本表征的多模态嵌入，模型联合优化了物品间兼容性与物品-查询一致性，生成的搭配在语义上与用户指定的主题一致，并在嵌入空间中紧密聚集，其在兼容性预测与一致性评估方面均优于最先进方法。

ABSTRACT

When thinking about dressing oneself, people often have a theme in mind whether they're going to a tropical getaway or wish to appear attractive at a cocktail party. A useful outfit generation system should come up with clothing items that are compatible while matching a theme specified by the user. Existing methods use item-wise compatibility between products but lack an effective way to enforce a global constraint (e.g., style, occasion). We introduce a method that generates outfits whose items match a theme described by a text query. Our method uses text and image embeddings to represent fashion items. We learn a multimodal embedding where the image representation for an item is close to its text representation, and use this embedding to measure item-query coherence. We then use a discriminator to compute compatibility between fashion items. This strategy yields a compatibility prediction method that meets or exceeds the state of the art. Our method combines item-item compatibility and item-query coherence to construct an outfit whose items are (a) close to the query and (b) compatible with one another. Quantitative evaluation shows that the items in our outfits are tightly clustered compared to standard outfits. Furthermore, outfits produced by similar queries are close to one another, and outfits produced by very different queries are far apart. Qualitative evaluation shows that our method responds well to queries. A user study suggests that people understand the match between the queries and the outfits produced by our method.

研究动机与目标

• 解决现有搭配生成方法仅依赖物品间兼容性而缺乏全局主题约束的问题。
• 实现基于自然语言描述（如风格、场合、季节或地点）的时尚搭配生成。
• 提出一个统一框架，利用多模态嵌入联合建模物品间兼容性与物品-查询一致性。
• 通过测量嵌入空间中聚类的紧密度与语义一致性，对搭配的一致性进行定量评估。

提出的方法

• 该方法使用多模态物品编码器提取时尚物品的图像与文本嵌入，学习一个共享嵌入空间，使同一物品的图像与文本表征在其中彼此接近。
• 训练一个判别网络，基于物品嵌入预测成对物品的兼容性，在兼容性预测任务上达到最先进性能。
• 通过计算时尚物品嵌入与描述搭配的文本查询嵌入之间的余弦相似度，来衡量物品-查询一致性。
• 通过迭代方式生成搭配，选择能最大化成对兼容性与物品-查询一致性组合得分的物品，采用具有偏差分布的可微采样策略。
• 该方法引入了一项新评估指标：搭配一致性通过生成搭配在嵌入空间中的平均聚类大小来衡量，聚类越小表示一致性越高。
• 开展用户研究，以验证人类对不同查询下生成搭配的理解程度。

实验结果

研究问题

• RQ1 时尚搭配生成系统能否有效执行由自然语言查询指定的全局主题（如风格、场合、季节）？
• RQ2 如何联合优化物品间兼容性与物品-查询一致性，以生成语义一致的搭配？
• RQ3 由相似查询生成的搭配在学习到的嵌入空间中，其聚类是否紧密聚集？
• RQ4 所提方法是否在兼容性预测与一致性评估两方面均优于最先进方法？
• RQ5 人类用户是否能感知到生成的搭配与输入查询在语义上一致？

主要发现

• 所提方法在基准数据集上的标准指标下，实现了或超越了最先进水平的物品级兼容性预测性能。
• 与仅考虑成对兼容性的基线方法相比，使用所提方法生成的搭配具有显著更小的平均聚类大小（即更高的一致性）。
• 搭配聚类中心之间的距离与查询句子之间的距离呈正相关，皮尔逊相关系数随嵌入损失中边际值的增大而提高。
• 平均搭配聚类大小与平均搭配中心距离之比（s_c/d_c）随边际值增加而减小，表明不同查询生成的搭配之间重叠减少，语义分离性提升。
• 在用户研究中，62.4%的参与者正确选出了与查询匹配的搭配，表明系统生成的搭配在语义上对人类用户具有可理解性。
• 定性结果表明，系统能恰当响应细微修饰词（如‘城市’与‘海滩’在‘波西米亚’风格中的差异），并相应调整颜色、鞋履与配饰。