[论文解读] Generative One-Shot Face Recognition

Zhengming Ding, Yandong Guo+2 more|arXiv (Cornell University)|Sep 28, 2019

Face recognition and analysis参考文献 46被引用 9

一句话总结

本文提出了一种基于生成对抗网络（GAN）的少样本人脸识别框架，通过利用表示充分的（基础）类别的数据变化，为少数样本（少样本）类别合成逼真的训练数据。通过联合训练生成器和分类器，并采用统一的极小化极大损失，该模型增强了对少样本身份的特征空间覆盖，在 MS-Celeb-1M 基准测试中，少样本类别的识别精度达到 99% 时，特征覆盖率达 94.98%，同时在基础类别上保持 99.80% 的 Top-1 准确率——在 MS-Celeb-1M 基准上达到当前最优性能。

ABSTRACT

One-shot face recognition measures the ability to identify persons with only seeing them at one glance, and is a hallmark of human visual intelligence. It is challenging for conventional machine learning approaches to mimic this way, since limited data are hard to effectively represent the data variance. The goal of one-shot face recognition is to learn a large-scale face recognizer, which is capable to fight off the data imbalance challenge. In this paper, we propose a novel generative adversarial one-shot face recognizer, attempting to synthesize meaningful data for one-shot classes by adapting the data variances from other normal classes. Specifically, we target at building a more effective general face classifier for both normal persons and one-shot persons. Technically, we design a new loss function by formulating knowledge transfer generator and a general classifier into a unified framework. Such a two-player minimax optimization can guide the generation of more effective data, which effectively promote the underrepresented classes in the learned model and lead to a remarkable improvement in face recognition performance. We evaluate our proposed model on the MS-Celeb-1M one-shot learning benchmark task, where we could recognize 94.98% of the test images at the precision of 99% for the one-shot classes, keeping an overall Top1 accuracy at $99.80\%$ for the normal classes. To the best of our knowledge, this is the best performance among all the published methods using this benchmark task with the same setup, including all the participants in the recent MS-Celeb-1M challenge at ICCV 2017\footnote{http://www.msceleb.org/challenge2/2017}.

研究动机与目标

• 为解决在执法和大规模名人识别等实际应用中，每个身份仅有一张训练图像时的人脸识别挑战。
• 通过合成逼真且多样的训练样本，提升对少样本类别的泛化能力，且不依赖外部数据增强。
• 在显著提升低样本身份识别准确率的同时，保持对表示充分（基础）类别的高性能。
• 开发一种统一的训练框架，通过生成式数据增强，联合优化特征表示与分类器学习。
• 验证生成式学习在缓解大规模人脸识别中数据不平衡问题方面的有效性。

提出的方法

• 设计了一种条件 GAN 框架，其中生成器通过建模基础类别人脸的数据分布，学习为少样本身份生成人脸图像。
• 提出一种新型损失函数，将生成器与通用分类器的训练统一在一个双人极小化极大博弈中，实现从基础类别到少样本类别的知识迁移。
• 判别器被训练以区分真实的基础类别图像与生成的类似少样本的图像，从而引导生成器产生更具真实感和判别性的样本。
• 分类器与生成器通过统一目标函数联合优化，以促进少样本类别更好的特征分离和更优的决策边界。
• 模型以预训练的 ResNet-34 特征作为输入，在端到端微调过程中应用所提出的损失，以增强特征的判别能力。

实验结果

研究问题

• RQ1 生成式数据增强是否能在不依赖外部数据的情况下有效提升少样本人脸识别性能？
• RQ2 如何训练 GAN 以生成反映基础类别视觉变化的、具有类别特异性的有意义人脸样本？
• RQ3 生成器与分类器的联合优化是否能提升对少数样本类别的泛化能力，同时保持对表示充分类别的性能？
• RQ4 所提方法在多大程度上改善了少样本身份的特征空间覆盖与决策边界估计？
• RQ5 在标准评估协议下，该模型是否能在 MS-Celeb-1M 等大规模基准上实现当前最优性能？

主要发现

• 所提模型在 MS-Celeb-1M 基准上，对少样本类别的识别精度达到 99% 时，特征覆盖率达 94.98%，显著优于先前方法。
• 基础类别的 Top-1 准确率保持在 99.80%，表明在少样本学习过程中，对表示充分身份的性能得到了有效保留。
• 经过优化后，少样本分类准确率从 77.01% 提升至 96.82%，表明对低样本身份的特征空间扩展有效。
• 少样本类别分类器权重向量的范数收敛至基础类别权重分布，表明模型置信度与泛化能力得到改善。
• 在低分辨率、素描、遮挡等具有挑战性的场景下，该模型优于 k-NN 和 Softmax，证实了其对视觉变化的鲁棒性。