[论文解读] Leveraging Mid-Level Deep Representations For Predicting Face Attributes in the Wild

Yang Zhong, Josephine Sullivan+1 more|arXiv (Cornell University)|Feb 4, 2016

Face recognition and analysis被引用 8

一句话总结

本文提出利用预训练的人脸分类网络中提取的中间层卷积神经网络（CNN）特征，以在非受限环境下预测面部属性。通过使用中间层（如C3–C6）而非高层全连接层，该方法在CelebA（89.8%）和LFWA（85.9%）上实现了最先进（SOTA）的准确率，表明中间层特征比高层抽象更能保留空间细节和局部判别模式，从而实现高效且统一的面部识别与属性预测模型。

ABSTRACT

Predicting facial attributes from faces in the wild is very challenging due to pose and lighting variations in the real world. The key to this problem is to build proper feature representations to cope with these unfavourable conditions. Given the success of Convolutional Neural Network (CNN) in image classification, the high-level CNN feature, as an intuitive and reasonable choice, has been widely utilized for this problem. In this paper, however, we consider the mid-level CNN features as an alternative to the high-level ones for attribute prediction. This is based on the observation that face attributes are different: some of them are locally oriented while others are globally defined. Our investigations reveal that the mid-level deep representations outperform the prediction accuracy achieved by the (fine-tuned) high-level abstractions. We empirically demonstrate that the midlevel representations achieve state-of-the-art prediction performance on CelebA and LFWA datasets. Our investigations also show that by utilizing the mid-level representations one can employ a single deep network to achieve both face recognition and attribute prediction.

研究动机与目标

• 探究预训练CNN的中间层表示是否在真实世界变化下，优于高层特征用于面部属性预测。
• 确定单一深度网络是否可通过分层特征同时支持面部识别与属性预测。
• 评估不同网络层在表示质量、计算效率和空间信息保留之间的权衡。
• 探索针对特定面部组件相关属性（如“戴领结”）使用紧凑局部表示（如C6层）的可行性。
• 证明中间层特征可在不重新训练整个网络的情况下超越最先进性能。

提出的方法

• 使用WebFace数据集中的35万张图像对人脸分类CNN进行微调，采用PReLU激活函数、dropout（0.5）及数据增强（翻转、抖动、旋转）。
• 从训练好的CNN的多个层级（C2至F2）提取分层特征，包括卷积层（C2–C6）和全连接层（F1, F2）。
• 在每个层级的特征上训练线性分类器（如SVM或逻辑回归），以在CelebA和LFWA数据集上预测40个人脸属性。
• 使用所有属性的平均准确率评估性能，并在不同层级间比较结果，以识别最优表示层级。
• 探索输入尺寸缩放（输入分辨率加倍）对小尺度属性预测（如“眼周黑眼圈”）的影响。
• 分析C6层的紧凑表示（3×2×256）在具有确定空间分布的属性（如“戴领结”）上的表现，测试内存与准确率之间的权衡。

实验结果

研究问题

• RQ1 在非受限条件下，中间层CNN特征（如C3–C6）是否优于高层特征（如F1, F2）用于面部属性预测？
• RQ2 能否通过中间层特征有效重用一个已训练好的人脸分类深度网络，实现准确的属性预测？
• RQ3 不同层级的空间分辨率和感受野大小如何影响局部属性（如“眼镜”或“胡须”）的预测？
• RQ4 紧凑且局部化的表示（如C6层）是否能在降低内存和计算成本的同时保持高准确率？
• RQ5 输入图像分辨率对属性预测准确率有何影响，特别是对“眼周黑眼圈”等细粒度特征？

主要发现

• 中间层表示（C3–C6）在CelebA上实现了最先进性能，平均准确率达到89.8%，超过此前SOTA的87%。
• 在LFWA数据集上，中间层特征实现了85.9%的平均准确率，优于先前SOTA的84%。
• 当输入尺寸加倍时，C3层在“眼周黑眼圈”属性上达到最高准确率（83.63%），表明其对空间细节高度敏感。
• C6层（3×2×256）在局部定义属性上保持了89.3%的平均准确率，实现了内存高效的表示且未造成显著性能损失。
• 高层特征（F1, F2）计算成本高且对局部属性表现较差，而中间层特征能更好保留对属性判别至关重要的空间结构。
• 本研究证明，单一人脸分类CNN可通过分层特征同时支持面部识别与属性预测，显著降低模型复杂度与训练开销。