[论文解读] MixNMatch: Multifactor Disentanglement and Encoding for Conditional Image Generation

Yuheng Li, Krishna Kumar Singh+2 more|arXiv (Cornell University)|Nov 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 6

一句话总结

MixNMatch 是一种条件生成模型，通过在训练期间仅使用边界框标注，将真实图像中的背景、物体姿态、形状和纹理解耦并编码。通过在 FineGAN 的基础上引入对抗性联合图像-代码分布匹配，它实现了高保真度的混合与匹配图像生成，在诸如 sketch2color 和 img2gif 等多样化应用中实现了最先进的解耦效果与可控生成。

ABSTRACT

We present MixNMatch, a conditional generative model that learns to disentangle and encode background, object pose, shape, and texture from real images with minimal supervision, for mix-and-match image generation. We build upon FineGAN, an unconditional generative model, to learn the desired disentanglement and image generator, and leverage adversarial joint image-code distribution matching to learn the latent factor encoders. MixNMatch requires bounding boxes during training to model background, but requires no other supervision. Through extensive experiments, we demonstrate MixNMatch's ability to accurately disentangle, encode, and combine multiple factors for mix-and-match image generation, including sketch2color, cartoon2img, and img2gif applications. Our code/models/demo can be found at https://github.com/Yuheng-Li/MixNMatch

研究动机与目标

• 通过从真实图像中解耦背景、物体姿态、形状和纹理四个关键因素，实现细粒度的可控图像生成。
• 在仅需背景建模的边界框标注的最小人类监督下实现这一解耦。
• 通过对抗性学习对齐真实图像与生成图像的联合图像-代码分布，弥合真实图像与生成图像之间的域差距。
• 通过解耦因子控制支持多样化的条件图像生成任务，如 sketch2color、cartoon2img 和 img2gif。
• 利用学习到的表征在解耦性和物体类别聚类方面展示最先进性能。

提出的方法

• 在具有分层解耦能力的无条件生成模型 FineGAN 的基础上，引入针对背景、姿态、形状和纹理的四个特定因子编码器。
• 采用真实图像-代码对与生成图像-代码对之间的对抗性联合图像-代码分布匹配，类似于 ALI 和 BiGAN，以强制实现解耦。
• 采用低维潜在代码的代码模式，以及将高维特征映射到解耦空间的特征模式，以保留细粒度的形状和姿态细节。
• 应用成对对抗损失，将真实图像特征与生成图像特征对齐，并在特征模式中使用 L1 重建损失以保证保真度。
• 引入代码重预测损失和代码约束，以稳定训练并提升代码模式下的解耦效果。
• 采用局部感受野判别器来建模背景，从而减少对密集标注的依赖。

实验结果

研究问题

• RQ1 仅使用边界框监督，条件生成模型能否成功解耦图像的四个关键因素——背景、姿态、形状和纹理？
• RQ2 对抗性联合图像-代码分布匹配在无强监督条件下，能否有效实现真实图像的解耦编码？
• RQ3 当从不同参考图像中组合因子时，MixNMatch 在保留形状和纹理方面的能力如何？
• RQ4 与基于代码的编码相比，特征模式在解耦保真度方面有何提升？
• RQ5 MixNMatch 是否能在 sketch2color 和 img2gif 等多样化应用中实现高质量、可控的图像生成？

主要发现

• MixNMatch 在形状和纹理解耦方面实现了最低的关键点 L2 距离（16.29）和最低的颜色直方图 χ² 距离（0.565），优于 Deforming AE、SC-GAN 和 FineGAN 等基线模型。
• MixNMatch 的特征模式在形状解耦方面表现最佳（L2 距离 16.29），显著优于代码模式（20.57）及其他基线模型。
• 消融实验表明，特征模式中对抗损失与 L1 损失均不可或缺，且成对对抗损失在代码模式中对实现正确解耦至关重要。
• MixNMatch 在细粒度物体类别聚类任务中达到最先进性能，证明了其解耦表征的质量。
• 该模型成功支持多样化应用，包括 sketch2color、cartoon2img 和 img2gif，具有高视觉保真度与可控性。
• 若缺少成对对抗损失，解耦性能显著下降（L2 距离：60.41），证实其在域对齐中的必要性。