[论文解读] Generating Embroidery Patterns Using Image-to-Image Translation

Mohammad Akif Beg, Jia Yuan Yu|arXiv (Cornell University)|Mar 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 4

一句话总结

本文提出两种基于深度学习的方法——分割风格迁移与EmbGAN，可从用户上传的2D图像中实时生成逼真、真实的刺绣预览。通过改进神经风格迁移与循环一致性生成对抗网络，该方法在无需成对训练数据或刺绣特定属性信息的情况下，生成视觉上准确的刺绣模拟效果，其中EmbGAN在人工偏好测试中较基线模型提升91.5%。

ABSTRACT

In many scenarios in computer vision, machine learning, and computer graphics, there is a requirement to learn the mapping from an image of one domain to an image of another domain, called Image-to-image translation. For example, style transfer, object transfiguration, visually altering the appearance of weather conditions in an image, changing the appearance of a day image into a night image or vice versa, photo enhancement, to name a few. In this paper, we propose two machine learning techniques to solve the embroidery image-to-image translation. Our goal is to generate a preview image which looks similar to an embroidered image, from a user-uploaded image. Our techniques are modifications of two existing techniques, neural style transfer, and cycle-consistent generative-adversarial network. Neural style transfer renders the semantic content of an image from one domain in the style of a different image in another domain, whereas a cycle-consistent generative adversarial network learns the mapping from an input image to output image without any paired training data, and also learn a loss function to train this mapping. Furthermore, the techniques we propose are independent of any embroidery attributes, such as elevation of the image, light-source, start, and endpoints of a stitch, type of stitch used, fabric type, etc. Given the user image, our techniques can generate a preview image which looks similar to an embroidered image. We train and test our propose techniques on an embroidery dataset which consist of simple 2D images. To do so, we prepare an unpaired embroidery dataset with more than 8000 user-uploaded images along with embroidered images. Empirical results show that these techniques successfully generate an approximate preview of an embroidered version of a user image, which can help users in decision making.

研究动机与目标

• 为解决时尚个性化定制中缺乏自动化、实时刺绣预览系统的问题。
• 在不依赖成对训练数据或刺绣特定元数据的前提下，生成用户上传2D图像的视觉逼真刺绣版本。
• 通过提供准确的预览模拟，提升用户在服装个性化定制中的决策能力。
• 评估并比较生成的刺绣风格图像与真实数字化刺绣版本之间的感知质量。
• 开发一种独立于针法类型、面料、光照或高度变化的方法，确保广泛适用性。

提出的方法

• 通过将输入图像按颜色划分为子图像，并在各区域应用不同的刺绣风格，改进神经风格迁移以增强真实感。
• 将CycleGAN框架改进为EmbGAN，利用循环一致性损失学习自然图像与刺绣输出之间的无配对图像到图像翻译。
• 在包含超过8,000张用户上传图像及其对应人工数字化刺绣版本的无配对数据集上训练模型。
• 通过Amazon Mechanical Turk进行感知评估，将生成图像与真实图像及基线模型进行比较。
• 采用条件对抗框架结合身份损失与循环一致性，以在翻译过程中保持结构与语义内容。
• 在分割风格迁移中，为每个颜色区域集成多张刺绣风格图像，以模拟针法变化与纹理效果。

实验结果

研究问题

• RQ1 改进的神经风格迁移方法是否能生成比标准风格迁移更逼真的刺绣风格预览？
• RQ2 像CycleGAN这样的无配对图像到图像翻译模型是否可有效适配以生成高保真刺绣预览？
• RQ3 所提出的EmbGAN模型在视觉真实感方面与标准CycleGAN及分割风格迁移相比表现如何？
• RQ4 人类评估者在多大程度上更偏好生成的刺绣预览而非基线模型？
• RQ5 通过按颜色分离图像并应用区域特定风格迁移，是否能提升最终刺绣输出的感知真实感？

主要发现

• 分割风格迁移优于标准神经风格迁移，67.5%的turker认为分割风格迁移结果比标准风格迁移更真实。
• 与CycleGAN相比，EmbGAN在turker偏好测试中达到91.5%的偏好率，表明视觉真实感显著提升。
• EmbGAN生成的图像在评分中始终被认为更具真实感，且更接近真实数字化刺绣版本。
• 感知评估证实，标准神经风格迁移生成的结果显得不够真实，也未能准确反映实际刺绣图案。
• 采用无配对训练设置与循环一致性损失，实现了无需成对刺绣数据的有效翻译，提升了可扩展性。
• 该方法对图像内容变化具有鲁棒性，且无需输入针法类型、面料或光照条件信息。