[论文解读] Face Synthesis for Eyeglass-Robust Face Recognition

Jianzhu Guo, Xiangyu Zhu+2 more|arXiv (Cornell University)|Jun 4, 2018

Face recognition and analysis参考文献 27被引用 4

一句话总结

本文提出一种基于3D的虚拟眼镜人脸合成方法，用于生成高保真度的戴眼镜人脸图像，以训练深度学习模型，显著提升了人脸识别在眼镜遮挡下的鲁棒性。通过使用3D人脸和眼镜模型合成多样化的眼镜变体，并结合一种新型度量学习损失，该方法在低远端误报率（FAR）条件下表现尤为出色，在协议IV中FAR=10^{-6}时实现了20%的相对性能提升。

ABSTRACT

In the application of face recognition, eyeglasses could significantly degrade the recognition accuracy. A feasible method is to collect large-scale face images with eyeglasses for training deep learning methods. However, it is difficult to collect the images with and without glasses of the same identity, so that it is difficult to optimize the intra-variations caused by eyeglasses. In this paper, we propose to address this problem in a virtual synthesis manner. The high-fidelity face images with eyeglasses are synthesized based on 3D face model and 3D eyeglasses. Models based on deep learning methods are then trained on the synthesized eyeglass face dataset, achieving better performance than previous ones. Experiments on the real face database validate the effectiveness of our synthesized data for improving eyeglass face recognition performance.

研究动机与目标

• 为解决因眼镜（尤其是厚重黑色镜框）导致的人脸识别准确率下降问题。
• 克服收集配对真实图像（戴眼镜与不戴眼镜）用于训练的困难。
• 开发一种虚拟数据增强方法，生成逼真且多样的戴眼镜人脸图像，以提升模型训练的鲁棒性。
• 通过合成数据和一种新型损失函数，提升深度学习模型对由眼镜引起的类内差异的泛化能力。

提出的方法

• 使用3DMM拟合或回归方法，从2D图像重建3D人脸模型。
• 通过锚点将3D眼镜拟合到重建的3D人脸，并利用公式(1)优化对齐，以最小化3D投影误差。
• 采用z-buffer和Phong光照模型实现逼真渲染，将合成眼镜无缝融合到原始图像中。
• 在3D眼镜形状、光照、俯仰角和垂直位移方面引入随机性，以增加合成数据的多样性。
• 通过将真实MsCeleb图像与合成的戴眼镜版本相结合，构建合成训练数据集MsCeleb-Eyeglass。
• 提出一种新型度量学习损失，结合渐进式采样策略，以更有效地利用合成数据并提升特征判别能力。

实验结果

研究问题

• RQ1 虚拟合成戴眼镜人脸是否能提升真实世界遮挡条件下的人脸识别性能？
• RQ2 使用3D人脸和眼镜模型进行合成数据增强，在减轻眼镜遮挡导致的性能下降方面效果如何？
• RQ3 具有渐进式采样策略的新型度量学习损失是否能提升模型在合成数据和真实数据上的泛化能力？
• RQ4 在不同眼镜遮挡程度下，基于合成数据训练的模型与仅使用真实数据的基线模型相比，性能表现如何？

主要发现

• 在真实MsCeleb与合成MsCeleb-Eyeglass数据混合训练的ResNet-22-D模型在所有协议中表现最佳，尤其在协议IV中表现突出。
• 在协议IV中（测试集与数据库均包含眼镜图像），该模型在FAR=10^{-4}时达到90.14%的TPR，相比基线模型有12%的相对性能提升。
• 在FAR=10^{-6}时，该模型相比基线模型识别性能提升了约20%，表明其在严重遮挡条件下具有极强的鲁棒性。
• 所提出的合成数据与损失函数显著提升了协议III和IV的性能，这两个协议中眼镜遮挡对识别影响最为严重。
• 图4中的ROC曲线显示，采用合成数据和新损失函数训练的模型在低FAR阈值下持续表现出优越性能。
• 公开发布了包含1.7K身份的MeGlass数据集，以支持未来在眼镜鲁棒性人脸识别方面的研究。