[论文解读] Disentangling Multiple Conditional Inputs in GANs

Gökhan Yıldırım, Calvin Seward+1 more|arXiv (Cornell University)|Jun 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 12

一句话总结

该论文提出了一种条件式生成对抗网络（GAN）架构，通过一致性损失函数实现时尚图像生成中颜色、纹理和形状属性的解耦。通过分别对每个属性进行条件输入，并利用逐属性的一致性损失强制输出稳定性，该模型实现了对颜色、纹理和形状的独立控制，从而实现逼真且可控的服装图像生成与编辑。

ABSTRACT

In this paper, we propose a method that disentangles the effects of multiple input conditions in Generative Adversarial Networks (GANs). In particular, we demonstrate our method in controlling color, texture, and shape of a generated garment image for computer-aided fashion design. To disentangle the effect of input attributes, we customize conditional GANs with consistency loss functions. In our experiments, we tune one input at a time and show that we can guide our network to generate novel and realistic images of clothing articles. In addition, we present a fashion design process that estimates the input attributes of an existing garment and modifies them using our generator.

研究动机与目标

• 在条件式生成对抗网络中实现对多个视觉属性——颜色、纹理和形状——的独立控制，用于时尚图像生成。
• 解决在生成对抗网络中，多个输入条件效应相互耦合的问题，即改变一个属性时不应影响其他属性。
• 开发一种方法，使用户能够通过估计并编辑已训练生成器的潜在属性，来修改现有服装。
• 为时尚设计师提供一个结合深度学习与人类创造力的实用设计流程，用于快速原型设计。
• 将条件式生成对抗网络从类别条件扩展到连续、解耦的复杂视觉属性控制，应用于时尚图像。

提出的方法

• 生成器接收三个输入：一个3D RGB颜色向量、一个512维潜在向量用于纹理，以及一个128×128的二值分割掩码用于形状，该掩码通过掩码嵌入网络嵌入为512维向量。
• 判别器执行两个任务：真实/虚假图像分类，以及输入图像平均颜色的回归，类似于辅助分类器生成对抗网络，但使用回归而非分类。
• 使用WGAN-GP损失以稳定训练，判别器的输出用于计算真实图像与生成图像分布之间的Wasserstein距离。
• 引入逐属性一致性损失函数：对于颜色，使用输入与输出颜色平均值之间的L1损失；对于纹理，使用基于拉普拉斯的抠图损失；对于形状，使用二元交叉熵损失。
• 生成器被训练以最小化对抗损失与一致性损失的总和，确保对某一属性的修改不会破坏其他属性。
• 重建流程通过优化生成器输入以最小化重建误差与一致性损失，来估计真实服装图像的输入属性，从而实现属性编辑。

实验结果

研究问题

• RQ1 条件式生成对抗网络能否成功解耦多个输入属性（颜色、纹理和形状）的影响，使得调节一个属性时其他属性保持不变？
• RQ2 如何设计一致性损失函数，以在图像生成过程中保持未修改属性的视觉稳定性？
• RQ3 训练好的生成器在多大程度上能通过估计其潜在颜色、纹理和形状输入，重建真实服装图像？
• RQ4 能否通过真实图像中估计的属性生成新颖且逼真的服装设计？
• RQ5 使用单一平均颜色和二值形状掩码在建模复杂多色或高度纹理化的服装时存在哪些局限性？

主要发现

• 模型成功实现了颜色、纹理和形状的解耦，通过调节一个属性而保持其他两个属性视觉稳定，验证了其有效性。
• 一致性损失函数有效保持了未修改属性的稳定性：当调节颜色时，纹理和形状保持不变，反之亦然。
• 重建流程准确恢复了真实服装的颜色和形状，估计的纹理向量能够捕捉局部图案，如水平线条和明暗变化。
• 该方法实现了实用的时尚设计工作流程：真实服装被分析以提取属性，随后被修改以生成新颖且逼真的设计。
• 对于具有多种颜色或复杂纹理的复杂服装，模型表现不佳，表明当前颜色与形状表示存在局限性。
• 在拉普拉斯抠图损失中增大邻域大小可提升结构捕捉能力，但显著增加了计算成本，因稀疏性降低。