[论文解读] Fashioning with Networks: Neural Style Transfer to Design Clothes

Prutha Date, Ashwinkumar Ganesan+1 more|arXiv (Cornell University)|Jul 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 21

一句话总结

本文提出了一种神经风格迁移流程，通过从用户的衣橱图像中学习其时尚偏好，并利用内容损失与风格损失优化生成定制服装，从而实现服装设计的个性化。该方法成功地将多种风格图案迁移至用户定义的服装轮廓上，生成反映个人审美的个性化、视觉连贯的设计。

ABSTRACT

Convolutional Neural Networks have been highly successful in performing a host of computer vision tasks such as object recognition, object detection, image segmentation and texture synthesis. In 2015, Gatys et. al [7] show how the style of a painter can be extracted from an image of the painting and applied to another normal photograph, thus recreating the photo in the style of the painter. The method has been successfully applied to a wide range of images and has since spawned multiple applications and mobile apps. In this paper, the neural style transfer algorithm is applied to fashion so as to synthesize new custom clothes. We construct an approach to personalize and generate new custom clothes based on a users preference and by learning the users fashion choices from a limited set of clothes from their closet. The approach is evaluated by analyzing the generated images of clothes and how well they align with the users fashion style.

研究动机与目标

• 开发一种个性化时尚设计系统，基于用户的独特风格偏好生成新的服装图案。
• 通过合成新颖的、用户专属的服装设计，解决时尚个性化中超越检索或推荐的挑战。
• 评估神经风格迁移是否能有效迁移复杂时尚风格，同时保持服装结构和用户偏好。
• 探索多组风格输入对生成服装设计质量与连贯性的影响。

提出的方法

• 系统首先通过使用预训练的19层VGG-Net，从有限数量的衣橱图像中提取特征，以学习用户偏好。
• 用户提供的服装轮廓（UCO）作为内容图像，而风格特征则从多个用户提供的服装图像中提取。
• 该方法通过结合内容损失（UCO与生成图像特征图之间的L2距离）和风格损失（风格图像与生成图像之间的Gram矩阵距离）的总损失函数，对生成图像进行优化。
• 使用LBFGS优化方法最小化损失函数，并分别对内容和风格使用自适应权重α和β。
• 后处理通过UCO的掩码隔离服装区域并去除背景，生成最终设计。
• 通过在VGG-16特征上训练SVM来分类生成图像中的属性组合，评估风格迁移的成功程度。

实验结果

研究问题

• RQ1 仅使用少量用户提供的衣橱图像，神经风格迁移是否能有效实现服装设计的个性化？
• RQ2 使用多组风格图像如何影响生成服装设计的连贯性与可识别性？
• RQ3 分类器在生成的服装图像中在多大程度上能检测到预期的风格属性，表明风格迁移成功？
• RQ4 增加风格输入数量是否会降低生成设计的质量，如果是，原因是什么？

主要发现

• 在生成图像上进行属性分类的F1得分始终高于基线，表明用户提供的图像中的风格属性已成功迁移。
• 当使用训练数据中的相同风格生成图像时，F1得分高于使用独立测试图像的情况，表明对熟悉风格模式具有更好的泛化能力。
• 增加用于生成的风格图像数量导致F1得分下降，表明过多的风格函数会降低结果的质量与连贯性。
• 将多组不同风格图像（例如不同针织图案）应用于同一内容图像，可生成视觉上不同且合理的融合设计，证明了风格融合的有效性。
• 该系统成功生成了反映用户时尚品味的新颖个性化服装设计，经由定量与定性评估均得到验证。