[论文解读] A comprehensive survey on semantic facial attribute editing using generative adversarial networks

Ahmad Nickabadi, Maryam Saeedi Fard+2 more|arXiv (Cornell University)|May 21, 2022

Face recognition and analysis被引用 8

一句话总结

本综述对基于生成对抗网络（GAN）的语义面部属性编辑进行了全面分析，将最先进模型分类为编码器-解码器、图像到图像转换和图像引导架构。综述了损失函数、数据集、评估指标和应用等关键组件，同时指出了持续存在的挑战，如属性纠缠、低分辨率输出和数据集偏差。

ABSTRACT

Generating random photo-realistic images has experienced tremendous growth during the past few years due to the advances of the deep convolutional neural networks and generative models. Among different domains, face photos have received a great deal of attention and a large number of face generation and manipulation models have been proposed. Semantic facial attribute editing is the process of varying the values of one or more attributes of a face image while the other attributes of the image are not affected. The requested modifications are provided as an attribute vector or in the form of driving face image and the whole process is performed by the corresponding models. In this paper, we survey the recent works and advances in semantic facial attribute editing. We cover all related aspects of these models including the related definitions and concepts, architectures, loss functions, datasets, evaluation metrics, and applications. Based on their architectures, the state-of-the-art models are categorized and studied as encoder-decoder, image-to-image, and photo-guided models. The challenges and restrictions of the current state-of-the-art methods are discussed as well.

研究动机与目标

• 系统性回顾基于GAN的语义面部属性编辑的最新进展。
• 根据其架构设计对最先进模型进行分类：编码器-解码器、图像到图像转换和图像引导框架。
• 分析损失函数、数据集和评估指标在模型性能中的作用。
• 识别当前方法中的关键局限性，如属性纠缠、低图像分辨率和数据集偏差。
• 突出语义人脸编辑中的开放性挑战和未来研究方向。

提出的方法

• 将面部属性编辑模型分为三类主要架构：编码器-解码器、图像到图像转换和图像引导模型。
• 回顾训练过程中使用的损失函数，包括重建损失、属性分类损失和对抗损失。
• 分析用于训练的数据集，指出其存在的问题，如多样性有限、种族代表性不足和属性分布不平衡。
• 检查评估指标，强调由于缺乏专门的定量指标，人类判断仍是主要基准。
• 研究模型在挑战性条件下的行为，如侧脸、遮挡和稀有面部属性。
• 评估模型架构和训练数据对图像质量和属性解耦的影响。

实验结果

研究问题

• RQ1 不同基于GAN的架构（编码器-解码器、图像到图像转换、图像引导）在语义面部属性编辑中的表现如何？
• RQ2 当前面部属性编辑模型在处理稀有或复杂面部状况时的主要局限性是什么？
• RQ3 现有数据集和评估协议在多大程度上限制了模型的泛化能力和公平性？
• RQ4 损失函数在生成结果的属性解耦和图像保真度方面有何影响？
• RQ5 实现高分辨率、无伪影且语义一致的面部编辑面临哪些关键挑战？

主要发现

• 当前最先进模型在编辑侧脸或被遮挡的面部时表现不佳，由于泛化能力有限，导致结果不理想。
• 大多数模型在存在偏差的数据集上进行训练，属性分布不平衡，例如微笑和中性表情过度代表。
• 图像分辨率仍是关键限制，尽管高保真生成技术已取得进展，但许多模型仍基于低分辨率输入（如128×128或384×384）。
• 目前尚无标准化的、专门用于评估属性编辑性能的定量指标；人类评估仍是主要基准。
• 属性纠缠问题依然存在，即对某一属性的修改会无意中影响其他属性，尤其在复杂或非理想面部图像中更为明显。
• 如FaceShifter等模型展现出对遮挡的更强鲁棒性，但此类能力较为罕见，且无法在不同架构间通用化。