[论文解读] Deep Identity-aware Transfer of Facial Attributes

Mu Li, Wangmeng Zuo+1 more|arXiv (Cornell University)|Oct 18, 2016

Face recognition and analysis参考文献 55被引用 141

一句话总结

DIAT 使用一个掩模引导的两网络系统（掩模网络和属性变换网络），通过对抗性、自适应感知、身份、感知正则化和属性比率损失进行训练，在保持身份的同时转移面部属性；适用于局部、全局或与身份相关的属性，且在测试时高效。

ABSTRACT

This paper presents a Deep convolutional network model for Identity-Aware Transfer (DIAT) of facial attributes. Given the source input image and the reference attribute, DIAT aims to generate a facial image that owns the reference attribute as well as keeps the same or similar identity to the input image. In general, our model consists of a mask network and an attribute transform network which work in synergy to generate a photo-realistic facial image with the reference attribute. Considering that the reference attribute may be only related to some parts of the image, the mask network is introduced to avoid the incorrect editing on attribute irrelevant region. Then the estimated mask is adopted to combine the input and transformed image for producing the transfer result. For joint training of transform network and mask network, we incorporate the adversarial attribute loss, identity-aware adaptive perceptual loss, and VGG-FACE based identity loss. Furthermore, a denoising network is presented to serve for perceptual regularization to suppress the artifacts in transfer result, while an attribute ratio regularization is introduced to constrain the size of attribute relevant region. Our DIAT can provide a unified solution for several representative facial attribute transfer tasks, e.g., expression transfer, accessory removal, age progression, and gender transfer, and can be extended for other face enhancement tasks such as face hallucination. The experimental results validate the effectiveness of the proposed method. Even for the identity-related attribute (e.g., gender), our DIAT can obtain visually impressive results by changing the attribute while retaining most identity-aware features.

研究动机与目标

• 推动在多样任务中保持身份的一致性的人脸属性转移（包括表情、配饰、年龄、性别等）。
• 开发一个两网络框架（掩模与变换）以将编辑聚焦于与属性相关的区域。
• 在没有真实目标的情况下，使用对抗损失和感知损失实现属性转移的无监督训练。

提出的方法

• 引入一个掩模网络，用于预测属性相关区域掩模 M(x)。
• 引入一个属性变换网络（基于U-Net）以生成变换后的图像 T(x)。
• 将输出合成为 F(x)=M(x)∘T(x)+(1−M(x))∘x 以产生最终结果。
• 使用判别器 D 的对抗属性损失进行训练，以匹配属性分布。
• 使用定义在判别器特征上的自适应感知损失来保持身份相关内容。
• 基于 VGG-Face 特征引入身份损失，以强化身份保持。
• 通过去噪网络添加感知正则化以抑制伪影（DN）。
• 对掩模应用属性比率正则化，以控制区域大小。
• 利用交替训练方案以提高稳定性和性能。

实验结果

研究问题

• RQ1 DIAT 是否能够在局部和全局属性之间转移所需属性，同时保持源身份？
• RQ2 对抗属性损失、自适应感知损失和身份损失如何提升转移质量？
• RQ3 该方法是否能够对身份相关和非身份相关属性都有效处理？
• RQ4 该方法是否足够高效，能够用于实际应用并扩展到如人脸超分等任务？

主要发现

• DIAT 在表情、去除配饰、年龄推进和性别转移等任务中实现了视觉上令人信服的属性转移，同时对身份的改变很小。
• 该模型在测试阶段每秒可处理超过100张图像。
• 掩模引导策略有助于将编辑限制在属性相关区域，减少无关区域的伪影。
• 在属性判别器上定义的自适应感知损失促进了身份感知转移和训练效率。
• 通过去噪网络进行的感知正则化在不牺牲细节的前提下抑制伪影。
• 属性比率正则化使不同属性的编辑空间范围可控。