[论文解读] Language Guided Fashion Image Manipulation with Feature-wise Transformations

Mehmet Günel, Erkut Erdem+1 more|ArXiv.org|Aug 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 30

一句话总结

该论文提出FiLMedGAN，一种基于条件生成对抗网络的模型，利用特征逐元素线性调制（FiLM）实现无需分割图或姿态标注的精确语言引导时尚图像编辑。通过将FiLM与跳跃连接及总变差正则化相结合，该模型在生成更真实、语义准确的服装编辑结果方面优于先前方法，FID得分达到最先进水平，并显著提升了视觉变化的定位精度。

ABSTRACT

Developing techniques for editing an outfit image through natural sentences and accordingly generating new outfits has promising applications for art, fashion and design. However, it is considered as a certainly challenging task since image manipulation should be carried out only on the relevant parts of the image while keeping the remaining sections untouched. Moreover, this manipulation process should generate an image that is as realistic as possible. In this work, we propose FiLMedGAN, which leverages feature-wise linear modulation (FiLM) to relate and transform visual features with natural language representations without using extra spatial information. Our experiments demonstrate that this approach, when combined with skip connections and total variation regularization, produces more plausible results than the baseline work, and has a better localization capability when generating new outfits consistent with the target description.

研究动机与目标

• 开发一种基于自然语言描述的时尚图像编辑方法，无需依赖分割图或姿态关键点等空间标注。
• 通过将语言条件化特征调制与深度生成模型结合，提升图像编辑的定位精度与真实感。
• 解决在针对服装属性进行目标修改时保持结构一致性（如身体轮廓、身份特征）的挑战。
• 证明基于FiLM的条件机制在视觉与文本语义解耦方面优于基线方法。
• 通过定性与定量指标（包括FID、Inception Score及属性相似度）评估模型性能。

提出的方法

• 模型采用条件生成对抗网络框架，其中生成器使用FiLM（特征逐元素线性调制）对视觉特征进行语言嵌入条件化，实现可调制的特征变换。
• FiLM通过句子嵌入对特征图应用可学习仿射变换（γ, β），使网络能够根据语言输入自适应调制特征。
• 在生成器中引入跳跃连接，以减少解码过程中的信息损失并提升特征恢复能力。
• 训练过程中应用总变差正则化，以增强图像的空间一致性并减少噪声。
• 生成器通过对抗损失端到端训练，判别器负责区分真实图像与生成图像。
• 微调基于VGG-16的属性头，用于预测性别、袖型、颜色和类别等属性，以定量评估编辑准确性。

实验结果

研究问题

• RQ1 与无空间监督的基线GAN相比，基于FiLM的特征调制是否能实现更准确、更局部化的时尚图像编辑？
• RQ2 跳跃连接与总变差正则化的结合在多大程度上提升了生成图像的真实感与结构一致性？
• RQ3 FiLM在多大程度上改善了输出图像中视觉变化与文本描述之间的对齐？
• RQ4 在FID与属性相似度方面，该方法是否优于现有语言引导图像编辑模型？
• RQ5 FiLMedGAN能否在无需分割图或姿态标注的前提下，生成合理且保持身份与姿态一致的服装编辑结果？

主要发现

• FiLMedGAN在最后50个周期中取得最佳FID得分为10.72（最低值为9.12），显著优于基线[7]及其他变体。
• 模型取得2.58的Inception Score（最后50个周期最佳值为2.68），表明图像质量有所提升，但IS在本任务中被认为不可靠。
• FiLM+TV变体将FID从16.83降低至14.84，表明总变差正则化与FiLM结合能有效提升图像质量与一致性。
• 属性相似度（AS）得分为0.67（最后50个周期最佳值），表明生成图像与目标描述之间具有强语义对齐，体现有效的语义控制。
• 定性结果表明，与基线相比，FiLMedGAN生成的图像更具细节且视觉吸引力更强，尤其在发丝与面部特征的渲染上表现更优。
• 尽管有所改进，FiLMedGAN在某些情况下仍会导致前景细节退化（如发丝丢失），表明在图像内容的细粒度保留方面仍存在局限。