[论文解读] Face Attribute Prediction Using Off-the-Shelf CNN Features

Yang Zhong, Josephine Sullivan+1 more|arXiv (Cornell University)|Feb 12, 2016

Face recognition and analysis参考文献 19被引用 25

一句话总结

本文提出使用现成的预训练CNN特征——特别是人脸识别模型（如FaceNet和VGG-Face）的中间空间表征——进行人脸属性预测。通过利用这些特征而非端到端训练网络，该方法在LFWA和CelebA数据集上实现了最先进性能，证明中间层次的特征比高层特征更适用于属性预测，因其具有更丰富的空间细节。

ABSTRACT

Predicting attributes from face images in the wild is a challenging computer vision problem. To automatically describe face attributes from face containing images, traditionally one needs to cascade three technical blocks --- face localization, facial descriptor construction, and attribute classification --- in a pipeline. As a typical classification problem, face attribute prediction has been addressed using deep learning. Current state-of-the-art performance was achieved by using two cascaded Convolutional Neural Networks (CNNs), which were specifically trained to learn face localization and attribute description. In this paper, we experiment with an alternative way of employing the power of deep representations from CNNs. Combining with conventional face localization techniques, we use off-the-shelf architectures trained for face recognition to build facial descriptors. Recognizing that the describable face attributes are diverse, our face descriptors are constructed from different levels of the CNNs for different attributes to best facilitate face attribute prediction. Experiments on two large datasets, LFWA and CelebA, show that our approach is entirely comparable to the state-of-the-art. Our findings not only demonstrate an efficient face attribute prediction approach, but also raise an important question: how to leverage the power of off-the-shelf CNN representations for novel tasks.

研究动机与目标

• 探究现成的预训练人脸识别模型中的CNN特征是否能有效预测多样的面部属性。
• 确定预训练网络中哪些层和特征类型（空间特征、全连接层）在属性预测中表现最佳。
• 比较中间空间特征与高层全连接特征在预测面部属性时的性能差异。
• 评估无需微调的预训练模型（如FaceNet和VGG-Face）在零样本或少样本属性预测中的实用性。
• 探索结合传统人脸定位与预训练特征的简单流程是否能匹配端到端深度学习方法的性能。

提出的方法

• 该方法采用三阶段流程：传统人脸定位、从现成的预训练CNN中提取特征，以及训练属性分类器。
• 使用预训练模型（FaceNet、VGG-Face）从多个层提取特征，包括空间特征图（3×3和1×1）以及全连接层（FC1、FC2）。
• 针对每个属性，从不同网络层中选择表现最佳的特征表示，构成最终描述符。
• 该方法通过固定CNN权重，仅在提取的特征上训练最终的属性分类器，避免端到端训练。
• 在LFWA和CelebA数据集上进行实验，使用多种预训练架构，输入尺寸和全连接层维度各不相同。
• 消融研究对比了不同特征类型（空间特征 vs. 全连接特征）和模型变体，以识别最优的特征来源。

实验结果

研究问题

• RQ1 现成的预训练人脸识别模型中的CNN特征是否能在无需微调的情况下实现人脸属性预测的最先进性能？
• RQ2 在预训练CNN中，哪些层类型（空间特征图 vs. 全连接层）在预测多样化面部属性方面最有效？
• RQ3 使用深层网络的中间空间表征是否能提升属性预测性能，相比高层特征？
• RQ4 CNN的感受野大小如何影响使用现成特征进行属性预测的性能？
• RQ5 结合传统人脸定位与预训练CNN特征的简单流程是否能匹配复杂两阶段端到端CNN的性能？

主要发现

• 表现最佳的特征表示是中间空间特征（3×3和1×1空间图），在40个人脸属性中的超过75%上优于高层全连接特征。
• 现成的VGG-Face模型的中间空间特征在所有模型中实现了最高平均准确率（86%），甚至优于其自身的FC2层。
• 平均而言，3×3和1×1特征图的空间表征实现了86%的准确率，与或超过FC2层（84–85%）的性能。
• 特定属性如“眼下黑袋”、“模糊”、“嘴部张开程度”、“苍白肤色”和“窄眼”由中间空间特征预测的性能显著优于FC2特征。
• 感受野最大的模型（VGG-Face中为224×224）表现出更优性能，表明更大的空间上下文有助于提升属性预测。
• 将全连接层维度从512增加到1024并未提升性能，表明在此设置下特征质量比维度更重要。