[论文解读] ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes

Taihong Xiao, Jiapeng Hong+1 more|arXiv (Cornell University)|Mar 28, 2018

Face recognition and analysis参考文献 28被引用 27

一句话总结

ELEGANT 提出了一种基于 GAN 的模型，通过在两张输入图像之间交换解耦的潜在编码，实现多个面部属性的迁移。该方法利用残差学习和多尺度判别器，实现了高保真度、高分辨率的图像生成，能够精确操控属性，同时保持身份一致性和减少伪影。

ABSTRACT

Recent studies on face attribute transfer have achieved great success. A lot of models are able to transfer face attributes with an input image. However, they suffer from three limitations: (1) incapability of generating image by exemplars; (2) being unable to transfer multiple face attributes simultaneously; (3) low quality of generated images, such as low-resolution or artifacts. To address these limitations, we propose a novel model which receives two images of opposite attributes as inputs. Our model can transfer exactly the same type of attributes from one image to another by exchanging certain part of their encodings. All the attributes are encoded in a disentangled manner in the latent space, which enables us to manipulate several attributes simultaneously. Besides, our model learns the residual images so as to facilitate training on higher resolution images. With the help of multi-scale discriminators for adversarial training, it can even generate high-quality images with finer details and less artifacts. We demonstrate the effectiveness of our model on overcoming the above three limitations by comparing with other methods on the CelebA face database. A pytorch implementation is available at https://github.com/Prinsphield/ELEGANT.

研究动机与目标

• 解决现有面部属性迁移方法的局限性：无法使用样本图像、仅支持单属性迁移以及图像质量较低。
• 通过在潜在空间中解耦属性表征，实现在单次生成过程中同时迁移多个面部属性。
• 通过残差学习和多尺度判别器，提升高分辨率图像上的训练稳定性和图像质量。
• 消除对额外身份编码器或湮灭操作的需求，简化模型结构并避免平凡解。

提出的方法

• 该模型接收两张输入图像——一张具有目标属性，另一张不具有该属性——并通过交换其解耦潜在编码中的特定部分来实现属性迁移。
• 在潜在空间中学习解耦的属性表征，从而实现对多个属性的独立操控。
• 通过训练生成器仅预测源图像与目标图像之间的差异（残差），采用残差学习策略，提升高分辨率图像上的训练稳定性。
• 采用 U-Net 结构的生成器架构，用于重建残差图像，以保持身份和背景细节。
• 在不同分辨率上应用多尺度判别器，以提升感知质量并生成更精细的细节。
• 该模型避免使用额外的身份编码器或湮灭操作，降低复杂度并防止平凡解。

实验结果

研究问题

• RQ1 是否仅使用两张样本图像（无需成对训练数据）即可有效实现面部属性迁移？
• RQ2 如何在单次生成过程中实现多个面部属性在潜在空间中的解耦与同步操控？
• RQ3 残差学习是否能提升高分辨率面部图像生成过程中的训练稳定性和图像质量？
• RQ4 多尺度判别器在多大程度上提升了生成面部图像的保真度和细节质量？
• RQ5 在不使用辅助身份编码器或复杂操作（如湮灭）的情况下，模型能否保持身份一致性？

主要发现

• ELEGANT 在 CelebA 数据集上对多个属性实现了最先进水平的 FID 分数，其中卷发（添加）为 30.71，微笑（添加）为 31.12，眼镜（移除）为 24.88，表明图像质量极高。
• 该模型成功实现了多样化属性风格的迁移（例如不同款式的卷发、眼镜和发色），且无需依赖通用属性向量，实现了风格特定的迁移。
• 通过学习残差图像，ELEGANT 稳定了训练过程，并实现了高达 256×256 的高分辨率生成，减少了伪影并提升了视觉保真度。
• 由于未引入额外的身份编码器或湮灭操作，模型结构更简洁，避免了平凡解，从而增强了训练稳定性。
• 多尺度判别器显著提升了细节生成质量，定性结果表明纹理更清晰、过渡更自然。
• 在大多数属性上，ELEGANT 的 FID 分数优于 CycleGAN、StarGAN 和 DNA-GAN，尤其在具有挑战性的样本图像迁移设置下表现更优，证明了其更强的泛化能力和真实感。