[论文解读] Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach

Hu Han, Anil K. Jain+3 more|arXiv (Cornell University)|Jun 3, 2017

Face recognition and analysis被引用 26

一句话总结

该论文提出了一种深度多任务学习（DMTL）框架，通过共享特征学习与类别特定特征学习，联合估计多种异质性人脸属性（如年龄、性别、种族和面部特征），并显式建模属性之间的相关性与异质性（例如，序数型与名义型、整体型与局部型）。该方法在多个基准数据集上实现了最先进性能，包括在MORPH II数据集上实现98.6%的种族分类准确率和85.3%的年龄估计准确率，同时具备实时推理能力。

ABSTRACT

Face attribute estimation has many potential applications in video surveillance, face retrieval, and social media. While a number of methods have been proposed for face attribute estimation, most of them did not explicitly consider the attribute correlation and heterogeneity (e.g., ordinal vs. nominal and holistic vs. local) during feature representation learning. In this paper, we present a Deep Multi-Task Learning (DMTL) approach to jointly estimate multiple heterogeneous attributes from a single face image. In DMTL, we tackle attribute correlation and heterogeneity with convolutional neural networks (CNNs) consisting of shared feature learning for all the attributes, and category-specific feature learning for heterogeneous attributes. We also introduce an unconstrained face database (LFW+), an extension of public-domain LFW, with heterogeneous demographic attributes (age, gender, and race) obtained via crowdsourcing. Experimental results on benchmarks with multiple face attributes (MORPH II, LFW+, CelebA, LFWA, and FotW) show that the proposed approach has superior performance compared to state of the art. Finally, evaluations on a public-domain face database (LAP) with a single attribute show that the proposed approach has excellent generalization ability.

研究动机与目标

• 解决现有面部属性估计方法在特征学习中忽略属性相关性与异质性的局限性。
• 开发一种统一的深度学习框架，能够从单张人脸图像中联合估计多种属性类型（序数型、名义型、整体型、局部型）。
• 构建一个新的无约束人脸数据库LFW+，通过众包方式标注人口统计属性（年龄、性别、种族），以支持基准测试。
• 评估模型在多样化数据库和测试场景下的泛化能力，包括跨数据库与跨属性设置。
• 实现在监控、检索与社交媒体应用中实际部署所需的高准确率与实时推理性能。

提出的方法

• DMTL网络采用基于改进AlexNet并引入批量归一化的共享特征学习主干网络，以提取所有属性的通用特征。
• 在共享主干之后引入类别特定子网络，以针对不同属性类型（如序数型与名义型、整体型与局部型）定制特征学习。
• 通过联合优化多个属性的损失函数，实现端到端学习，捕捉属性之间的相互关联。
• 通过为不同语义与尺度类型（如种族与年龄）设计独立子网络，显式建模属性异质性。
• 采用多任务训练目标，平衡异质性属性之间的梯度，提升模型鲁棒性与泛化能力。
• 通过在LFW基础上扩展2,466张0–20岁人群的图像，并利用众包方式标注人口统计属性，构建新数据库LFW+。

Figure 1: Individual face attributes have both correlation and heterogeneity. While attribute correlation can be utilized to improve the robustness of attribute estimation, attribute heterogeneity should also be tackled by designing appropriate prediction models.

实验结果

研究问题

• RQ1 能否通过同时建模相关性与异质性，使统一的深度学习框架在联合估计异质性人脸属性（如年龄、性别、种族、面部特征）时实现更高的准确率？
• RQ2 与最先进方法相比，所提出的DMTL方法在包含多种异质性属性的多样化基准数据集上的表现如何？
• RQ3 该模型在未见数据库及跨数据库测试场景下的泛化能力如何？
• RQ4 在实际部署场景中，该模型能否保持高准确率与实时推理速度？
• RQ5 属性异质性（如序数型与名义型、整体型与局部型）对联合属性估计模型的性能与设计有何影响？

主要发现

• 所提出的DMTL方法在MORPH II数据集上实现98.6%的种族分类准确率与85.3%的年龄估计准确率（MAE 3.0），优于最先进方法。
• 在LFW+数据集上，模型在性别识别上达到96.7%准确率，在种族分类上达到94.9%，在0–20岁广泛年龄范围中表现强劲。
• 在跨数据库测试中，模型泛化能力良好：当在MORPH II上训练、在LFW+上测试时，年龄识别准确率达77.4%，种族分类准确率达70.5%，表明对领域偏移具有鲁棒性。
• 模型在Titan X GPU上推理仅需8 ms，在CPU上为35 ms，可在普通台式机上实现约16 fps的实时推理，速度与准确率均优于先前方法。
• 在CelebA数据集上，模型在40项属性上平均准确率达93.0%，在LFWA上达86.0%，且在性能上持续优于独立模型与先前多任务方法。
• 消融实验表明，同时建模属性相关性与异质性能显著提升性能，尤其在跨数据库与跨属性设置中表现更优。

Figure 2: Overview of the proposed deep multi-task learning (DMTL) network consisting of an early-stage shared feature learning for all the attributes, followed by category-specific feature learning for heterogeneous attribute categories. We use a modified AlexNet [ 11 ] with a batch normalization (