[论文解读] Convolutional Network for Attribute-driven and Identity-preserving Human Face Generation

Mu Li, Wangmeng Zuo+1 more|arXiv (Cornell University)|Aug 23, 2016

Face recognition and analysis参考文献 21被引用 48

一句话总结

本文提出了一种基于优化的深度学习方法，用于生成具有特定属性的逼真人脸，同时保持参考图像的身份特征。通过利用预训练的VGG-Face网络的感知损失，并结合身份、属性和总变差（TV）正则化，该模型通过梯度下降生成高质量、身份一致的人脸，在属性驱动和身份一致的人脸生成任务中达到最先进性能。

ABSTRACT

This paper focuses on the problem of generating human face pictures from specific attributes. The existing CNN-based face generation models, however, either ignore the identity of the generated face or fail to preserve the identity of the reference face image. Here we address this problem from the view of optimization, and suggest an optimization model to generate human face with the given attributes while keeping the identity of the reference image. The attributes can be obtained from the attribute-guided image or by tuning the attribute features of the reference image. With the deep convolutional network "VGG-Face", the loss is defined on the convolutional feature maps. We then apply the gradient decent algorithm to solve this optimization problem. The results validate the effectiveness of our method for attribute driven and identity-preserving face generation.

研究动机与目标

• 解决现有基于CNN的人脸生成模型在修改属性时无法保持身份的问题。
• 在保持给定参考人脸身份的前提下，生成具有指定属性的逼真人脸。
• 探索使用预训练网络的深度特征进行基于优化的图像生成，避免对抗训练或自编码结构。
• 通过空间属性掩码和参考图像的颜色空间迁移提升视觉质量。

提出的方法

• 将人脸生成建模为一个优化问题，利用从预训练VGG-Face网络中间层提取的感知损失。
• 定义一个损失函数，结合属性迁移、身份保持和总变差（TV）正则化，以确保图像的平滑性和清晰度。
• 通过梯度下降反向传播通过VGG-Face网络，从一张空白图像开始，生成最终的人脸。
• 引入空间掩码以定位属性修改区域，提升特定面部属性的视觉保真度。
• 将参考图像的颜色分布迁移至生成的人脸，以解决颜色不匹配问题。
• 基于身份保真度与属性显著性之间的权衡，选择最优卷积层（如conv3_1）用于感知损失。

实验结果

研究问题

• RQ1 能否有效利用深度卷积网络在保持参考人脸身份的同时生成具有特定属性的人脸？
• RQ2 VGG-Face网络中不同卷积层的选择如何影响身份保持与属性迁移质量之间的权衡？
• RQ3 总变差正则化对生成人脸的视觉质量和噪声水平有何影响？
• RQ4 空间掩码和颜色迁移在提升生成人脸的真实感与一致性方面效果如何？

主要发现

• 该模型成功生成了具有指定属性（如“戴眼镜”、“微笑”、“大鼻子”和“闭嘴”）的逼真人脸，同时保持了参考人脸的身份特征。
• 使用conv3_1层作为感知损失的特征层，在身份保真度与属性显著性之间取得了最佳平衡，优于较低层（如conv2_1）和较高层（如conv3_2）的特征。
• 总变差（TV）正则化显著提升了图像质量：不使用时，生成的人脸存在噪声；而正则化权重过大时，图像则变得过度平滑和模糊。
• 引入空间掩码和颜色迁移显著提升了视觉质量，尤其在眼镜和鼻型等局部属性的生成中表现更优。
• 在LFW数据集上的实验表明，即使属性标签存在高达10%的错误，该方法仍能生成高质量、身份一致的人脸。