[论文解读] A Survey of Deep Facial Attribute Analysis

Xin Zheng, Yanqing Guo+3 more|arXiv (Cornell University)|Dec 26, 2018

Face recognition and analysis参考文献 142被引用 5

一句话总结

本综述全面回顾了深度面部属性分析，涵盖基于深度学习的面部属性估计（FAE）与面部属性操作（FAM）。其提出一个两阶段流程：数据预处理与模型构建，将最先进方法分类为基于部件的与整体的FAE，以及基于模型的与基于附加条件的FAM，同时强调了数据集、评估指标，以及在数据质量、分辨率和FAE与FAM之间相互增强方面的未来挑战。

ABSTRACT

Facial attribute analysis has received considerable attention when deep learning techniques made remarkable breakthroughs in this field over the past few years. Deep learning based facial attribute analysis consists of two basic sub-issues: facial attribute estimation (FAE), which recognizes whether facial attributes are present in given images, and facial attribute manipulation (FAM), which synthesizes or removes desired facial attributes. In this paper, we provide a comprehensive survey of deep facial attribute analysis from the perspectives of both estimation and manipulation. First, we summarize a general pipeline that deep facial attribute analysis follows, which comprises two stages: data preprocessing and model construction. Additionally, we introduce the underlying theories of this two-stage pipeline for both FAE and FAM. Second, the datasets and performance metrics commonly used in facial attribute analysis are presented. Third, we create a taxonomy of state-of-the-art methods and review deep FAE and FAM algorithms in detail. Furthermore, several additional facial attribute related issues are introduced, as well as relevant real-world applications. Finally, we discuss possible challenges and promising future research directions.

研究动机与目标

• 提供对深度面部属性分析近期进展的系统性与全面性综述，重点关注估计与操作两个方面。
• 阐明深度FAE与FAM的底层流程与理论基础，包括数据预处理与模型构建阶段。
• 为FAE与FAM的最先进方法建立分类体系，分析其优势与局限性。
• 识别数据质量、分辨率与泛化能力方面的关键挑战，并探讨FAE与FAM之间协同增益的潜力。
• 突出未来研究方向，包括数据增强、模型鲁棒性，以及面部属性分析在真实世界应用中的潜力。

提出的方法

• 提出一个适用于FAE与FAM的两阶段深度面部属性分析流程：先进行数据预处理，再进行模型构建。
• 将FAE方法分类为基于部件的（含独立或端到端定位）与整体的（通过共享/特定特征学习联合学习属性），
• 将FAM方法分类为基于模型的（无需额外条件）与基于附加条件的（使用属性作为条件输入），并以生成对抗网络（GANs）与变分自编码器（VAEs）作为核心生成骨干网络。
• 引入关键数据集，如CelebA、LFW与MS-Celeb-1M，以及标准评估指标，包括准确率、F1分数与Fréchet Inception Distance（FID）。
• 提出条件式CycleGAN与具有平滑形变场的GAN作为解决分辨率限制的方案，实现从低分辨率输入生成高分辨率人脸图像。
• 建议利用FAM生成的图像进行FAE的数据增强，并通过准确率差距分析，使用训练好的FAE模型作为FAM性能的评估指标。

实验结果

研究问题

• RQ1 基于部件与整体的FAE方法在设计与性能上存在哪些差异？
• RQ2 基于模型与附加条件的FAM方法之间存在哪些关键差异，其对生成质量有何影响？
• RQ3 FAE与FAM如何通过数据增强与性能评估实现相互促进？
• RQ4 当前深度面部属性分析的主要挑战是什么，特别是分辨率限制与生成属性保真度方面？
• RQ5 在提升模型泛化能力、真实感与真实世界适用性方面，哪些未来研究方向最具潜力？

主要发现

• 采用辅助定位（如关键点检测）的基于部件的FAE方法在定位精度方面表现更优，但存在误差传播问题；而端到端方法虽集成更优，但训练复杂度较高。
• 通过共享分支与特定分支联合学习属性关系的整体FAE方法，因能有效建模属性相关性，从而实现更优性能。
• 基于模型的FAM方法在无外部条件情况下生成图像，而基于附加条件的FAM方法通过条件输入属性向量，能实现更高的属性保真度。
• 条件式CycleGAN与具备平滑形变场的GAN能有效解决分辨率限制问题，实现从低分辨率输入生成高分辨率人脸图像。
• 真实图像与生成图像之间的准确率差距可作为FAM的可靠评估指标，差距越大表示生成质量越低。
• 利用FAM生成的图像进行数据增强可提升FAE性能，但前提是生成图像需保留精细的面部细节与真实感，以避免域偏移问题。