[论文解读] Face Attribute Prediction with classification CNN.

Yang Zhong, Josephine Sullivan+1 more|arXiv (Cornell University)|Feb 4, 2016

Face recognition and analysis参考文献 15被引用 7

一句话总结

本文提出使用卷积神经网络（CNN）的中间层特征而非高层特征进行面部属性预测，证明这些中间表征能更好地捕捉局部与全局属性特征。该方法在CelebA和LFWA数据集上达到最先进性能，并使单一深度网络能够同时执行人脸识别与属性预测。

ABSTRACT

Predicting facial attributes from faces in the wild is very challenging due to pose and lighting variations in the real world. The key to this problem is to build proper feature representations to cope with these unfavorable conditions. Given the success of convolutional neural network (CNN) in image classification, the high-level CNN feature as an intuitive and reasonable choice has been widely utilized for this problem. In this paper, however, we consider the mid-level CNN features as an alternative to the high-level ones for attribute prediction. This is based on the observation that face attributes are different: some of them are locally oriented while others are globally defined. Our investigations reveal that the mid-level deep representations outperform the prediction accuracy achieved by the high-level abstractions. We demonstrate that the mid-level representations achieve state-of-the-art prediction performance on CelebA and LFWA datasets. Our investigations also show that by utilizing the mid-level representations one can employ a single deep network to achieve both face recognition and attribute prediction.

研究动机与目标

• 解决在姿态和光照等真实世界变化下的面部属性预测挑战。
• 探究中间层CNN特征相较于高层特征在属性预测中是否具有优势。
• 开发一种统一的深度学习框架，能够同时执行人脸识别与属性预测。
• 通过利用捕捉局部与全局属性语义的特征表示，提升预测准确率。

提出的方法

• 该方法采用卷积神经网络（CNN）从中间层提取中间层特征，而非依赖高层特征提取中使用的最终全连接层。
• 中间层特征的选择基于其对局部面部组件（如眼睛、鼻子）和更广泛面部结构的表征能力。
• 在CelebA和LFWA数据集上，通过二元交叉熵损失对网络进行端到端的属性预测训练。
• 通过多任务学习，联合优化单一深度网络以同时完成人脸识别与属性预测任务。
• 采用特征可视化与消融研究验证中间层特征的表征质量。
• 模型架构基于标准CNN主干网络，对中间层特征图应用分类头以实现属性预测。

实验结果

研究问题

• RQ1 在真实世界变化下，中间层CNN特征是否在面部属性预测中优于高层特征？
• RQ2 中间层表征能否有效建模局部与全局面部属性？
• RQ3 是否可行使用中间层特征训练单一深度网络，同时完成人脸识别与属性预测？
• RQ4 与高层抽象相比，中间层特征对预测准确率的相对贡献如何？

主要发现

• 中间层CNN特征在CelebA和LFWA数据集上的面部属性预测中达到最先进性能。
• 所提方法优于使用高层CNN特征的模型，尤其在具有强局部依赖关系的属性上表现更优。
• 使用中间层表征使单一深度网络能够更高效地联合执行人脸识别与属性预测。
• 实证结果表明，中间层特征能更好地捕捉局部与全局面部属性的判别性模式。
• 消融研究证实，与高层特征相比，中间层特征在多样化属性类型上提供了更均衡的表征。