[论文解读] Garment Design with Generative Adversarial Networks

Chenxi Yuan, Mohsen Moghaddam|arXiv (Cornell University)|Jul 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 4

一句话总结

本文提出 Design-AttGAN，一种经过改进的生成对抗网络，通过将分类损失与重建损失及对抗损失解耦，实现对服装图像的属性级编辑。该模型成功实现了袖长、颜色、图案及服装类型（如T恤变为背心）等属性的编辑，在时尚数据集上表现优于原始 AttGAN，尤其在对服装类型进行平衡子集微调后表现更优。

ABSTRACT

The designers' tendency to adhere to a specific mental set and heavy emotional investment in their initial ideas often hinder their ability to innovate during the design thinking and ideation process. In the fashion industry, in particular, the growing diversity of customers' needs, the intense global competition, and the shrinking time-to-market (a.k.a., "fast fashion") further exacerbate this challenge for designers. Recent advances in deep generative models have created new possibilities to overcome the cognitive obstacles of designers through automated generation and/or editing of design concepts. This paper explores the capabilities of generative adversarial networks (GAN) for automated attribute-level editing of design concepts. Specifically, attribute GAN (AttGAN)---a generative model proven successful for attribute editing of human faces---is utilized for automated editing of the visual attributes of garments and tested on a large fashion dataset. The experiments support the hypothesized potentials of GAN for attribute-level editing of design concepts, and underscore several key limitations and research questions to be addressed in future work.

研究动机与目标

• 为解决因认知僵化和快时尚压力导致的时尚设计创新受限问题。
• 将原本专为面部属性编辑设计的 AttGAN 模型，适配至时尚设计中的服装图像编辑任务。
• 通过修改损失函数架构，克服 AttGAN 在时尚数据上的性能下降问题。
• 探究时尚属性数据集中类别不平衡对基于 GAN 的编辑性能的影响。
• 提升复杂视觉属性在服装中编辑的稳定性与质量。

提出的方法

• 通过在包含 13,221 幅服装图像及 22 个属性的数据集上微调，将原始 AttGAN 框架适配至时尚图像。
• 将分类损失 ($\mathcal{L}_{cls_{g}}$) 与重建损失及对抗损失解耦，以增强属性编辑能力。
• 使用改进的损失函数训练生成器，优先确保属性预测的准确性，而不受图像重建质量的影响。
• 应用模型对袖长、颜色、图案及服装类型（如 Polo 衫、背心、连帽衫）等属性进行编辑。
• 在仅包含服装类型属性的缩小数据集（5,782 幅图像）上重新训练模型，以缓解类别不平衡问题。
• 使用 TensorFlow 搭建模型，优化器为 Adam（批量大小 32，初始初始值 0.0002）进行训练与评估。

实验结果

研究问题

• RQ1 原始 AttGAN 模型能否在服装图像属性编辑任务中有效应用并达到可接受的性能？
• RQ2 AttGAN 在人脸与时尚服装上的性能差距由何原因造成？
• RQ3 属性编辑区域大小（如整条袖子或领口）如何影响 GAN 在时尚编辑中的表现？
• RQ4 时尚属性数据集中的类别不平衡是否会阻碍模型学习并编辑稀有属性（如 'polo' 或 'vest'）？
• RQ5 在平衡的服装类型子集上重新训练是否能显著提升属性编辑性能？

主要发现

• 原始 AttGAN 模型在服装图像上表现不佳，难以保留图案并正确编辑属性，尤其在袖子或领口等大区域修改时问题更明显。
• 所提出的 Design-AttGAN 模型通过解耦分类损失，显著优于原始 AttGAN，实现了更优的属性编辑效果，同时保持了图像细节。
• 模型成功编辑了颜色（如红色、蓝色）、袖长（短/长）及图案（如条纹）等属性，结果具有视觉合理性。
• 由于原始数据集中 'polo' 属性出现频率过低，模型难以学习该属性，表明其对类别不平衡敏感。
• 在仅包含服装类型属性（如背心、Polo 衫）的平衡子集上重新训练后，相关属性的编辑性能显著提升，证实了数据平衡的影响。
• 结果表明，GAN 在时尚设计自动化中的有效应用需要领域特定的调整，尤其是损失函数的设计。