[论文解读] Compatible and Diverse Fashion Image Inpainting

Xintong Han, Zuxuan Wu+3 more|arXiv (Cornell University)|Feb 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 72被引用 19

一句话总结

本文提出FiNET，一种用于时尚图像修复的两阶段生成框架，通过解耦形状与外观生成，显式建模视觉兼容性与多样性。利用双编码器学习兼容性感知的潜在表征，FiNET生成与现有服饰和谐搭配的多样化、逼真时尚单品，在DeepFashion数据集上优于现有方法，在兼容性、多样性与真实感方面表现更优。

ABSTRACT

Visual compatibility is critical for fashion analysis, yet is missing in existing fashion image synthesis systems. In this paper, we propose to explicitly model visual compatibility through fashion image inpainting. To this end, we present Fashion Inpainting Networks (FiNet), a two-stage image-to-image generation framework that is able to perform compatible and diverse inpainting. Disentangling the generation of shape and appearance to ensure photorealistic results, our framework consists of a shape generation network and an appearance generation network. More importantly, for each generation network, we introduce two encoders interacting with one another to learn latent code in a shared compatibility space. The latent representations are jointly optimized with the corresponding generation network to condition the synthesis process, encouraging a diverse set of generated results that are visually compatible with existing fashion garments. In addition, our framework is readily extended to clothing reconstruction and fashion transfer, with impressive results. Extensive experiments with comparisons with state-of-the-art approaches on fashion synthesis task quantitatively and qualitatively demonstrate the effectiveness of our method.

研究动机与目标

• 为解决时尚图像生成中缺乏视觉兼容性建模的问题，特别是在生成多样化但和谐的穿搭方面。
• 开发一种两阶段图像到图像生成框架，通过解耦形状与外观生成，提升逼真度与可控性。
• 通过共享潜在空间显式建模服装之间的兼容性，确保生成的单品与周围服饰协调。
• 生成多样化、多模态的输出，确保与上下文视觉兼容，支持时尚推荐与虚拟试穿等应用。
• 将框架扩展至服装重建与迁移任务，证明其在修复之外的泛化能力。

提出的方法

• FiNET采用两阶段架构：首先生成形状掩码，然后基于形状合成外观。
• 形状生成网络使用生成器与两个相互作用的编码器，学习基于邻近服装兼容上下文的潜在表征。
• 外观生成网络同样使用双编码器生成逼真纹理，潜在表征联合优化以保证兼容性。
• 兼容性模块使用共享潜在空间，其中一个编码器编码缺失服装，另一个编码上下文服装，实现兼容性正则化。
• 潜在表征与生成器联合优化，以条件化生成过程，确保多样性同时保持兼容性。
• 通过条件化目标形状与外观嵌入，框架支持服装重建与迁移任务。

实验结果

研究问题

• RQ1 在缺乏真实兼容性标注的情况下，如何在时尚图像生成中显式建模视觉兼容性？
• RQ2 解耦的形状与外观生成是否能提升时尚修复的逼真度与多样性？
• RQ3 如何在确保与周围服装兼容的前提下生成多模态、多样化输出？
• RQ4 与标准GAN或VAE相比，兼容性感知潜在空间在多大程度上能提升生成质量？
• RQ5 该框架能否在保持兼容性与多样性的前提下，扩展至服装重建与迁移等任务？

主要发现

• FiNET在所有对比方法中取得最高兼容性得分，显著优于BicycleGAN与VUNET等基线方法，后者无法维持兼容性。
• 用户研究显示，FiNET的人类欺骗率最高（78.5%），表明其生成结果更具真实感；而Inception Score与人类感知相关性较差。
• 若无兼容性感知正则化，BicycleGAN等方法虽生成高度多样的结果，但兼容性差，证明所提模块的必要性。
• FiNET生成多样化、多模态的结果，且与上下文视觉兼容，如定性示例所示，其形状与外观变化多样。
• 该框架成功泛化至服装重建与迁移任务，在两项任务上均生成自然逼真的结果。
• 使用LPIPS的定量评估表明，FiNET具有高多样性（使用2,000对图像），兼容性通过512维嵌入空间中的余弦相似度进行度量。