[论文解读] MulGAN: Facial Attribute Editing by Exemplar

Jingtao Guo, Zhenzhen Qian+2 more|arXiv (Cornell University)|Dec 28, 2019

Face recognition and analysis参考文献 23被引用 10

一句话总结

MulGAN 提出了一种基于 GAN 的新型框架，用于使用样本图像进行多属性面部图像编辑，通过在预定义的潜在特征块中直接约束属性标签，实现在保留身份细节的同时同时编辑多个属性。通过减少下采样层并引入属性分类器损失，MulGAN 在属性迁移准确率和图像质量方面优于以往的基于样本的方法。

ABSTRACT

Recent studies on face attribute editing by exemplars have achieved promising results due to the increasing power of deep convolutional networks and generative adversarial networks. These methods encode attribute-related information in images into the predefined region of the latent feature space by employing a pair of images with opposite attributes as input to train model, the face attribute transfer between the input image and the exemplar can be achieved by exchanging their attribute-related latent feature region. However, they suffer from three limitations: (1) the model must be trained using a pair of images with opposite attributes as input; (2) weak capability of editing multiple attributes by exemplars; (3) poor quality of generating image. Instead of imposing opposite-attribute constraints on the input image in order to make the attribute information of images be encoded in the predefined region of the latent feature space, in this work we directly apply the attribute labels constraint to the predefined region of the latent feature space. Meanwhile, an attribute classification loss is employed to make the model learn to extract the attribute-related information of images into the predefined latent feature region of the corresponding attribute, which enables our method to transfer multiple attributes of the exemplar simultaneously. Besides, a novel model structure is designed to enhance attribute transfer capabilities by exemplars while improve the quality of the generated image. Experiments demonstrate the effectiveness of our model on overcoming the above three limitations by comparing with other methods on the CelebA dataset.

研究动机与目标

• 解决以往基于样本的方法因相反属性对训练约束而只能一次编辑一个属性的局限性。
• 克服编码器-解码器架构中因过度下采样导致的图像质量下降问题。
• 通过单张样本图像实现在面部多个属性上的同时编辑。
• 通过直接在预定义的潜在块中应用属性标签而非依赖成对训练数据，提高属性迁移保真度。
• 通过减少下采样层，最小化细粒度、与属性无关的细节损失，从而提升生成质量。

提出的方法

• 模型沿通道维将潜在特征图划分为与属性相关和与属性无关的部分，以保留身份细节。
• 将与属性相关的特征划分为分块组件，每个组件专门对应一个特定面部属性（例如，齐刘海、微笑）。
• 将二值属性标签直接应用于潜在空间中的预定义与属性相关块，以指导特征学习。
• 使用属性分类器，强制模型在对应潜在块中提取并保留特定属性信息。
• 生成器采用的下采样层数少于标准自编码器，以保留细节并提升图像质量。
• 判别器确保生成图像的真实性，而属性分类器通过监督机制强制实现正确的属性迁移。

实验结果

研究问题

• RQ1 生成模型能否在无需成对相反属性训练数据的情况下，从样本图像中同时迁移多个面部属性？
• RQ2 与基于成对训练的方法相比，直接对潜在特征块进行标注在多属性迁移性能方面有何提升？
• RQ3 减少下采样层在基于样本的编辑中，对属性迁移保真度和图像质量的提升程度如何？
• RQ4 该模型能否在保留身份细节的同时，实现高保真度的属性风格迁移，并生成清晰、逼真的图像？
• RQ5 与现有的基于样本和基于标签的面部属性编辑方法相比，该方法在定量和定性上表现如何？

主要发现

• 在用户研究中，MulGAN 表现优于竞争方法，95% 的参与者认为在齐刘海、微笑和戴眼镜三个属性上迁移的风格与样本高度相关。
• 该模型取得了具有竞争力的 FID 分数——低于基线方法，表明其生成的图像质量接近真实数据分布。
• 使用四层下采样层在属性迁移准确率与图像质量之间达到最佳平衡，优于三层或五层的设置。
• 消融实验确认，减少下采样层数能保留更多细粒度细节，从而提升属性迁移和视觉保真度。
• 该方法可通过二值标签向量实现可控的多属性编辑，用户可选择从样本中迁移哪些属性。
• 属性分类器损失有效引导模型在潜在空间中学习解耦的、属性特定的表征，从而提升迁移一致性。