[论文解读] Learning Deep Face Representation

Haoqiang Fan, Zhimin Cao+3 more|arXiv (Cornell University)|Mar 12, 2014

Face recognition and analysis被引用 60

一句话总结

本文提出了一种新颖的深度学习框架——金字塔卷积神经网络（Pyramid CNN），用于学习高度紧凑且具有判别性的面部表征。通过采用贪婪的滤波与下采样操作，该方法实现了快速、计算高效的训练，并在仅使用8维特征的情况下，在LFW基准上达到了97.3%的最先进准确率，同时在新的社交网络人脸数据集上也表现出强大的泛化能力。

ABSTRACT

Face representation is a crucial step of face recognition systems. An optimal face representation should be discriminative, robust, compact, and very easy-to-implement. While numerous hand-crafted and learning-based representations have been proposed, considerable room for improvement is still present. In this paper, we present a very easy-to-implement deep learning framework for face representation. Our method bases on a new structure of deep network (called Pyramid CNN). The proposed Pyramid CNN adopts a greedy-filter-and-down-sample operation, which enables the training procedure to be very fast and computation-efficient. In addition, the structure of Pyramid CNN can naturally incorporate feature sharing across multi-scale face representations, increasing the discriminative ability of resulting representation. Our basic network is capable of achieving high recognition accuracy ($85.8\%$ on LFW benchmark) with only 8 dimension representation. When extended to feature-sharing Pyramid CNN, our system achieves the state-of-the-art performance ($97.3\%$) on LFW benchmark. We also introduce a new benchmark of realistic face images on social network and validate our proposed representation has a good ability of generalization.

研究动机与目标

• 开发一种统一且易于实现的深度学习框架，用于面部表征学习，以克服手工设计特征的局限性。
• 实现深度神经网络在面部识别任务中的快速且计算高效的训练。
• 在极紧凑的特征表示（如8维）下实现高识别准确率。
• 通过金字塔层级间多尺度特征共享，提升判别能力。
• 在来自社交网络的真实、非约束性人脸图像上验证模型的泛化性能。

提出的方法

• 提出一种新型深度网络架构——金字塔卷积神经网络（Pyramid CNN），通过贪婪的滤波与下采样操作加速训练并减少计算量。
• 采用监督学习方法，利用人脸对信号直接在图像像素上端到端训练网络。
• 在金字塔层级之间集成多尺度特征共享，以增强判别能力。
• 采用分层结构，使低层级特征在多个尺度间共享，以提升表征质量。
• 应用基于关键点的多尺度图像裁剪方法，以在不同分辨率下提取表征。
• 使用对比损失或类似监督信号，通过反向传播端到端训练网络。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能在极简复杂度和高效率下实现最先进的人脸识别性能？
• RQ2 与标准卷积神经网络相比，金字塔卷积神经网络架构在训练速度和表征紧凑性方面有何提升？
• RQ3 多尺度特征共享在多大程度上增强了学习到的人脸表征的判别能力？
• RQ4 所学习的表征在真实、非约束性社交网络人脸图像上的泛化能力如何？
• RQ5 在与现实世界访问控制相关的严格误报率条件下，该方法的性能表现如何？

主要发现

• 基础版金字塔卷积神经网络仅使用8维面部表征，就在LFW基准上实现了85.8%的准确率。
• 扩展后的多尺度特征共享金字塔卷积神经网络在LFW上达到97.3%的准确率，创下新的最先进性能记录。
• 在新的社交人脸数据集上，该方法显著优于高维LBP基线模型，在FPR = 0.001时，真阳性率（TPR）提升了12个百分点（0.44 vs. 0.32）。
• 与训练单一大型网络相比，使用金字塔卷积神经网络训练可在更短时间内达到更高准确率，表现出更快的收敛速度。
• 即使在涉及年龄变化和遮挡等挑战性情况时，系统仍保持高性能，其中仅有158例错误（共164例）可归因于此类因素。
• 结果表明，进一步提升性能需要引入超越原始图像特征的上下文与背景知识。