[论文解读] An All-In-One Convolutional Neural Network for Face Analysis

Rajeev Ranjan, Swami Sankaranarayanan+2 more|arXiv (Cornell University)|Nov 3, 2016

Face recognition and analysis参考文献 5被引用 21

一句话总结

本文提出了一种单一的深度卷积神经网络（CNN），可同时执行人脸检测、关键点定位、姿态估计、性别与微笑分类、年龄估计以及人脸识别/验证。通过利用基于领域的正则化和人脸识别预训练的多任务学习，该模型在无约束数据集上实现了所有任务的最先进性能，显著提升了特征鲁棒性，并减少了端到端系统中的误差累积。

ABSTRACT

We present a multi-purpose algorithm for simultaneous face detection, face alignment, pose estimation, gender recognition, smile detection, age estimation and face recognition using a single deep convolutional neural network (CNN). The proposed method employs a multi-task learning framework that regularizes the shared parameters of CNN and builds a synergy among different domains and tasks. Extensive experiments show that the network has a better understanding of face and achieves state-of-the-art result for most of these tasks.

研究动机与目标

• 解决传统人脸分析流水线中将检测、对齐和识别视为独立模块所导致的低效与误差累积问题。
• 通过利用相关任务之间的共享表征，克服人脸对齐和年龄估计等任务因训练数据有限而带来的挑战。
• 通过在多任务学习（MTL）框架中联合训练，利用任务间的协同效应，提升多个脸部分析任务的性能。
• 证明特定领域预训练（例如在人脸识别上）以及多数据集正则化能够增强特征学习与泛化能力。
• 开发一个统一的端到端系统，用单一高效的CNN架构替代多个专用模型。

提出的方法

• 设计一个深层CNN架构，其低层共享，任务特定子网络在不同深度分支，以捕捉全局与局部面部特征。
• 使用来自人脸识别模型（Sankaranarayanan et al. [41]）的预训练权重初始化网络，以提供稳健且领域特定的特征初始化。
• 实施多任务学习（MTL）框架，其中所有任务共享底层卷积层，实现参数正则化并提升泛化能力。
• 通过在多个数据集（如AFLW、IJB-A、MS-Celeb-1M）上训练，应用基于领域的正则化，以增强对多样化面部变化的鲁棒性。
• 为回归任务（如关键点、姿态、年龄）和分类任务（如性别、微笑、身份）使用任务特定的头部，共享特征在早期层中学习。
• 通过联合损失函数联合优化所有任务损失，对整个网络进行端到端微调，实现特征协同与性能提升。

实验结果

研究问题

• RQ1 一个单一的深度CNN能否在性能上优于专用模型，联合学习多个脸部分析任务？
• RQ2 通过共享表征和基于领域的正则化实现的多任务学习，是否能在无约束数据集上带来更好的泛化与鲁棒性？
• RQ3 在人脸识别任务上进行预训练，能在多大程度上提升在多样化脸部分析任务上的性能？
• RQ4 与级联系统相比，所提出的全集成网络在减少误差累积和提升端到端性能方面表现如何？
• RQ5 通过联合训练，能否有效利用相关任务（如人脸检测与对齐、年龄与性别估计）之间的协同效应？

主要发现

• 所提出的模型在所有评估任务上均达到最先进性能，包括人脸检测、关键点定位、姿态估计、性别与微笑分类、年龄估计以及人脸识别/验证。
• 在IJB-A数据集上，与基线[41]相比，身份排序-1性能提升1.2%（达到94.7%），在FAR=0.01时的验证性能提升2.5%（达到94.7%），身份描述符质量提升3%。
• 通过消除级联处理，该方法减少了误差累积，其中20%的性能提升归因于改进的人脸对齐，80%归因于更优的身份描述符学习。
• 该模型在所有任务上均优于HyperFace，包括人脸检测（AUC 0.823 vs. 0.776）、对齐（AUC 0.922 vs. 0.871）以及验证（在FAR=0.01时AUC 0.939 vs. 0.900）。
• 引入三元组概率嵌入（TPE）后性能进一步提升，实现94.7%的排序-1准确率和在FAR=0.01时0.947的验证率。
• 系统平均处理时间为3.5秒，第二阶段（推理）每对图像仅需0.1秒，即使在高精度下也能实现快速查询响应。