[论文解读] Face Attribute Prediction Using Off-The-Shelf Deep Learning Networks

Yang Zhong, Josephine Sullivan+1 more|arXiv (Cornell University)|Feb 12, 2016

Face recognition and analysis参考文献 15被引用 4

一句话总结

本文提出使用预训练的现成深度卷积神经网络（CNNs）进行面部特征提取，用于面部属性预测，并将其与传统的人脸定位技术相结合。通过利用在LFWA和CeleA数据集上预训练模型的多层级CNN特征，该方法实现了与最先进两阶段CNN流水线相当的性能，凸显了重用深度表征以及将经典视觉技术与深度学习相结合的潜力。

ABSTRACT

Attribute prediction from face images in the wild is a challenging problem. To automatically describe face attributes from face containing images, traditionally one needs to cascade three technical blocks --- face localization, facial feature extraction, and classification --- in a pipeline. As a typical classification problem, face attribute prediction has been addressed by using deep learning networks. Current state-of-the-art performance was achieved by using two cascaded CNNs, which were specifically trained to learn face localization and facial attribute prediction. In this paper we experiment in an alternative way of exploring the power of deep representations from the networks: we employ off-the-shelf CNNs trained for face recognition tasks to do facial feature extraction, combined with conventional face localization techniques. Recognizing that the describable face attributes are diverse, we select representations from different levels of the CNNs and investigate their utilities for attribute classification. Experiments on two large datasets, LFWA and CeleA, show that the performance is totally comparable to state-of-the-art approach. Our findings suggest two potentially important questions in using CNNs for face attribute prediction: 1) How to maximally leverage the power of CNN representations. 2) How to best combine traditional computer vision techniques with deep learning networks.

研究动机与目标

• 探究用于人脸识别的预训练深度CNN是否能有效提取面部属性预测的特征。
• 评估从预训练CNN不同层提取的特征在属性分类中的实用性。
• 将该现成方法的性能与专用的两阶段CNN流水线进行比较。
• 探索将经典计算机视觉技术（如人脸定位）与深度学习表征相结合的方法。
• 解决在面部属性预测任务中最大化预训练CNN表征效用的更广泛挑战。

提出的方法

• 将预训练的深度CNN（最初用于人脸识别）用作面部属性的特征提取器。
• 从CNN的多个中间层提取深度特征，以捕捉分层表征。
• 应用传统的人脸定位技术（如MTCNN或类似方法）在特征提取前检测人脸。
• 在提取的CNN特征上训练传统分类器（如SVM或逻辑回归）以进行属性预测。
• 在两个基准数据集LFWA和CeleA上评估性能，使用标准的属性预测指标。
• 分析不同网络层对属性分类性能的贡献。

实验结果

研究问题

• RQ1 用于人脸识别的现成预训练CNN能否有效提取面部属性预测的判别性特征？
• RQ2 预训练CNN不同深度的特征如何影响属性分类性能？
• RQ3 与单层特征相比，使用多层级CNN特征能带来多大的性能提升？
• RQ4 将传统人脸定位与深度学习特征结合的方法，与端到端训练的两阶段CNN相比表现如何？
• RQ5 在不同面部属性预测任务中重用深度表征面临哪些关键挑战？

主要发现

• 所提出的使用现成CNN的方法在LFWA和CeleA数据集上实现了与最先进两阶段CNN流水线相当的性能。
• 预训练CNN多个层级的特征对属性预测的贡献不同，其中中层至深层表现出更强的判别能力。
• 将传统人脸定位与深度特征结合，提升了属性预测的鲁棒性与一致性。
• 本研究证明，来自人脸识别模型的预训练表征在无需微调的情况下，高度可迁移至属性预测任务。
• 结果表明，通过精心选择网络层，可显著提升分类准确率，即使不重新训练网络。