[论文解读] A Jointly Learned Deep Architecture for Facial Attribute Analysis and Face Detection in the Wild

Keke He, Yanwei Fu+1 more|arXiv (Cornell University)|Jul 27, 2017

Face recognition and analysis参考文献 34被引用 11

一句话总结

本文提出一种联合学习的深度神经网络架构，可直接从野外自然图像中端到端地检测人脸并预测面部属性，无需裁剪或对齐的输入。通过在人脸检测与属性分析之间共享早期卷积特征，模型同时提升了两个任务的性能，在CelebA和LFWA数据集上达到当前最优水平，性别预测错误率为1.7%，比HyperFace低1.3%。

ABSTRACT

Facial attribute analysis in the real world scenario is very challenging mainly because of complex face variations. Existing works of analyzing face attributes are mostly based on the cropped and aligned face images. However, this result in the capability of attribute prediction heavily relies on the preprocessing of face detector. To address this problem, we present a novel jointly learned deep architecture for both facial attribute analysis and face detection. Our framework can process the natural images in the wild and our experiments on CelebA and LFWA datasets clearly show that the state-of-the-art performance is obtained.

研究动机与目标

• 解决现有面部属性分析方法依赖预处理过的裁剪和对齐人脸图像的局限性。
• 克服在姿态、遮挡和光照变化等非受控环境下，属性预测对人脸检测器质量的依赖。
• 利用人脸检测与面部属性预测之间的内在相关性，实现相互性能提升。
• 实现从原始未处理图像中直接预测面部属性，消除对先前人脸对齐的需求。
• 通过端到端的联合学习，在CelebA和LFWA等基准数据集上实现当前最优性能。

提出的方法

• 模型使用共享的卷积主干网络（conv1–conv5）从原始图像中提取特征，实现两个任务的联合学习。
• 在最终特征图上对人脸区域提议应用区域感兴趣（RoI）池化，生成用于下游任务的固定长度向量。
• 人脸区域提议层生成候选区域用于检测，使网络能够聚焦于潜在的人脸位置。
• 在共享特征之上构建两个独立的子网络（fc6, fc7），以联合优化人脸检测与面部属性预测。
• 使用结合检测与属性分类目标的多任务损失函数，对整个架构进行端到端训练。
• 即使在人脸部分遮挡或非平面情况下，模型也通过共享特征提升了检测与属性预测的性能。

实验结果

研究问题

• RQ1 在非受控环境下，人脸检测与面部属性分析的联合学习是否能提升两个任务的性能？
• RQ2 消除图像裁剪与对齐的需求是否能提升真实世界中面部属性预测的泛化能力？
• RQ3 人脸检测与属性预测之间的相关性如何增强模型对姿态、遮挡和光照变化的鲁棒性？
• RQ4 单一端到端深度神经网络能否优于使用独立模型进行检测与属性分析的流水线方法？
• RQ5 在具有挑战性的场景下，属性预测在多大程度上能提升人脸检测的性能？

主要发现

• 该模型在CelebA数据集上的性别属性预测错误率为1.7%，比HyperFace低1.3%。
• 与基线的裁剪对齐模型相比，该模型在CelebA数据集上40个面部属性中的27个实现了更低的分类错误率。
• 联合学习框架在CelebA数据集上的人脸检测AUC达到0.982，超过Dlib检测器（AUC 0.938）。
• 在CelebA数据集的所有40个属性上，该模型均表现出色，定量比较显示优于当前最优方法。
• 定性分析表明，即使在大姿态或遮挡情况下，共享特征图仍能在关键面部区域强烈激活。
• 该模型在CelebA和LFWA两个数据集上均实现了当前最优结果，且无需外部数据或图像对齐等预处理步骤。