[论文解读] Fully-Featured Attribute Transfer

De Xie, Muli Yang+3 more|arXiv (Cornell University)|Feb 17, 2019

Advanced Image Processing Techniques参考文献 34被引用 7

一句话总结

本文提出 AME-GAN，一种基于生成对抗网络的新框架，用于实现完全功能的属性迁移，通过流形学习将图像属性与背景解耦。通过分别对属性和背景潜在变量建模为高斯分布和均匀分布，并采用条件多尺度判别器，该方法在人脸和非人脸图像上实现了高保真度、可控制且无伪影的单属性与多属性迁移。

ABSTRACT

Image attribute transfer aims to change an input image to a target one with expected attributes, which has received significant attention in recent years. However, most of the existing methods lack the ability to de-correlate the target attributes and irrelevant information, i.e., the other attributes and background information, thus often suffering from blurs and artifacts. To address these issues, we propose a novel Attribute Manifold Encoding GAN (AME-GAN) for fully-featured attribute transfer, which can modify and adjust every detail in the images. Specifically, our method divides the input image into image attribute part and image background part on manifolds, which are controlled by attribute latent variables and background latent variables respectively. Through enforcing attribute latent variables to Gaussian distributions and background latent variables to uniform distributions respectively, the attribute transfer procedure becomes controllable and image generation is more photo-realistic. Furthermore, we adopt a conditional multi-scale discriminator to render accurate and high-quality target attribute images. Experimental results on three popular datasets demonstrate the superiority of our proposed method in both performances of the attribute transfer and image generation quality.

研究动机与目标

• 解决现有属性迁移方法在将目标属性与背景及无关属性解耦方面的局限性。
• 实现完全功能的、可控制的属性迁移，可修改图像的每一个细节，且不引入模糊或伪影。
• 开发一个统一框架，能够以高保真度处理单属性与多属性迁移。
• 通过在背景潜在变量上施加均匀分布约束，建模背景一致性，确保图像生成的真实性。

提出的方法

• 利用流形学习将图像投影到独立的子流形（$\mathcal{M}_A$ 和 $\mathcal{M}_B$）上，从而将图像划分为属性和背景两部分。
• 对属性潜在变量施加独立同分布的高斯分布，以建模属性的可变性与独立性。
• 强制背景潜在变量服从均匀分布，以保持背景一致性并减少伪影。
• 采用属性感知的条件多尺度判别器，以提高生成图像的准确性和分辨率。
• 使用双解码器架构：属性解码器和背景解码器，分别从其对应的潜在编码重建图像部分。
• 通过引入一个超参数 $\theta$ 实现可控制的迁移机制，该参数调节属性潜在变量的幅度，实现属性强度的渐进控制。

实验结果

研究问题

• RQ1 基于流形的解耦是否能有效将图像属性与背景及无关特征分离？
• RQ2 在属性和背景潜在变量上强制施加高斯分布与均匀分布，是否能提升图像真实感并减少伪影？
• RQ3 所提方法是否能实现单属性与多属性的高质量、可控制属性迁移？
• RQ4 条件多尺度判别器在提升生成图像的感知质量与分辨率方面有何贡献？
• RQ5 该框架是否能泛化到人脸属性迁移之外的其他图像到图像翻译任务？

主要发现

• 在 CelebA 数据集上，AME-GAN 在八个属性上的平均属性迁移准确率最高，优于 StarGAN、AttGAN 等基线方法。
• AME-GAN 在生成图像上的平均感知相似性误差（LPIPS v0.1）最低，表明其具有更优的真实感并减少了模糊或伪影。
• 视觉结果表明，与 StarGAN 和 AttGAN 相比，AME-GAN 生成的图像更清晰、更逼真，尤其在复杂多属性组合下表现更优。
• 通过渐进调节超参数 $\theta$，成功实现了可控制的属性迁移，支持属性强度的平滑调节。
• 该方法在非人脸属性迁移任务中也表现出良好的泛化能力，如在 CUB 数据集上成功实现羽毛颜色迁移，结果视觉上合理。
• 条件多尺度判别器显著提升了图像质量，表现为生成图像中纹理更清晰、细节更丰富。