[论文解读] Creating Capsule Wardrobes from Fashion Images

Wei-Lin Hsiao, Kristen Grauman|arXiv (Cornell University)|Dec 7, 2017

3D Shape Modeling and Analysis参考文献 7被引用 6

一句话总结

本文提出一种自动化方法，通过将问题建模为基于时尚单品的子模子集选择问题，利用在真实世界全幅‘在野外’图像上训练的无监督兼容性模型来评分搭配组合，从而生成胶囊衣橱。该方法实现了接近最优的胶囊生成效果，在视觉兼容性和多样性方面与人工精选的衣橱相当或更优，同时可扩展至数千件服装。

ABSTRACT

We propose to automatically create capsule wardrobes. Given an inventory of candidate garments and accessories, the algorithm must assemble a minimal set of items that provides maximal mix-and-match outfits. We pose the task as a subset selection problem. To permit efficient subset selection over the space of all outfit combinations, we develop submodular objective functions capturing the key ingredients of visual compatibility, versatility, and user-specific preference. Since adding garments to a capsule only expands its possible outfits, we devise an iterative approach to allow near-optimal submodular function maximization. Finally, we present an unsupervised approach to learn visual compatibility from "in the wild" full body outfit photos; the compatibility metric translates well to cleaner catalog photos and improves over existing methods. Our results on thousands of pieces from popular fashion websites show that automatic capsule creation has potential to mimic skilled fashionistas in assembling flexible wardrobes, while being significantly more scalable.

研究动机与目标

• 通过解决视觉兼容性和组合选择的挑战，实现胶囊衣橱——即最小化、高度可搭配的服装集合——的自动化创建。
• 设计一种子模目标函数，以建模视觉兼容性、多样性以及用户偏好，实现高效的子集选择。
• 从无标签的真实世界全幅时尚图像中学习视觉兼容性，而无需依赖监督标签或共同购买数据。
• 通过一种迭代的、基于子模性的优化策略，实现在大规模库存中高效生成接近最优的胶囊衣橱。

提出的方法

• 将胶囊衣橱创建建模为子模子集选择问题，其中目标函数捕捉服装间的相互兼容性、搭配多样性以及用户特定偏好。
• 设计一种基于搭配组合的子模目标函数，确保添加服装时收益递减，从而支持高效的贪心优化。
• 提出一种迭代算法，交替固定并选择服装层级（如上装、下装、鞋履），以利用搭配组合中的子模性。
• 使用相关主题模型在‘在野外’全幅图像预测的属性上训练生成模型，以推断k类视觉兼容性。
• 采用课程学习方法，弥合街拍照片与干净的目录图像之间的领域差异，提升所学兼容性的迁移能力。
• 将从真实世界图像中学到的兼容性得分转化为目录中单个商品的指导，以支持混搭推荐。

实验结果

研究问题

• RQ1 无监督方法能否在不依赖共同购买或标签数据的情况下，有效从无标签的真实世界时尚图像中学习视觉兼容性？
• RQ2 如何利用子模优化高效选择一组最小化服装，以最大化搭配的多样性与兼容性？
• RQ3 在‘在野外’图像上训练的兼容性模型，在用于更干净、孤立的目录图像时，其泛化能力如何？
• RQ4 与人工精选的胶囊衣橱相比，自动化胶囊创建在视觉兼容性和搭配组合多样性方面表现如何？
• RQ5 所提出的方法能否在大规模库存中保持胶囊质量的近似最优性？

主要发现

• 所提方法生成的胶囊衣橱在视觉兼容性方面与人类时尚专家精选的衣橱相当或更优，经用户研究验证。
• 在社交时尚网站的全幅图像上训练的无监督兼容性模型，能良好泛化至目录图像，在兼容性评分上优于现有最先进方法。
• 迭代子模优化方法在数秒内即可实现接近最优的胶囊选择，即使在包含数千件服装的大规模库存中，而暴力搜索方法则不可行。
• 用户研究表明，受试者一致更偏好本方法生成的胶囊衣橱，尤其在产生更多样化且兼容的搭配组合方面优于基线方法。
• 该方法有效平衡了多样性与兼容性，生成的胶囊衣橱富含基础款，具备高混搭潜力，而基线方法因依赖最近邻匹配，倾向于选择外观相似的单品。
• 兼容性模型学习到了有意义的属性关联（如‘蕾丝’与‘圆领’），提升了预测准确性，并支持更优的搭配组合设计。