[论文解读] Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition

Feng Liu, Ronghang Zhu+3 more|arXiv (Cornell University)|Mar 30, 2018

Face recognition and analysis被引用 8

一句话总结

本文提出了一种基于编码器-解码器网络的联合3D人脸重建与识别框架，通过从单张2D图像中解耦身份相关与非身份相关的形状特征，实现了卓越的性能。通过使用具有独立潜在变量的复合3D可变形模型，联合优化重建损失与识别损失，该方法在3D人脸重建精度（BU3DFE数据集上RMSE: 2.00±0.32）和人脸识别（IJB-A数据集上TAR-10%: 94.43±1.47）方面均达到当前最优水平，优于现有的基于3DMM和仅使用CNN的方法。

ABSTRACT

This paper proposes an encoder-decoder network to disentangle shape features during 3D face reconstruction from single 2D images, such that the tasks of reconstructing accurate 3D face shapes and learning discriminative shape features for face recognition can be accomplished simultaneously. Unlike existing 3D face reconstruction methods, our proposed method directly regresses dense 3D face shapes from single 2D images, and tackles identity and residual (i.e., non-identity) components in 3D face shapes explicitly and separately based on a composite 3D face shape model with latent representations. We devise a training process for the proposed network with a joint loss measuring both face identification error and 3D face shape reconstruction error. To construct training data we develop a method for fitting 3D morphable model (3DMM) to multiple 2D images of a subject. Comprehensive experiments have been done on MICC, BU3DFE, LFW and YTF databases. The results show that our method expands the capacity of 3DMM for capturing discriminative shape features and facial detail, and thus outperforms existing methods both in 3D face reconstruction accuracy and in face recognition accuracy.

研究动机与目标

• 解决现有3D人脸重建方法在识别任务中未能显式建模身份敏感特征的局限性。
• 通过解耦身份与残差（非身份）形状分量，联合优化3D人脸重建与人脸识别。
• 通过深度学习技术增强特征判别力与细节捕捉能力，突破3D可变形模型（3DMM）的受限形状空间。
• 通过利用互补的3D形状特征，提升在大姿态变化下的人脸识别鲁棒性。

提出的方法

• 该方法使用编码器-解码器神经网络，直接从单张2D图像回归密集的3D人脸形状。
• 引入一种复合3D人脸形状模型，为身份和残差（非身份）形状分量分别设置独立的潜在变量。
• 通过联合损失函数（结合3D重建误差与人脸识别损失）进行训练，实现端到端优化。
• 开发了一种多图像3DMM拟合方法，用于生成带有身份标签和对应3D形状的训练数据。
• 训练过程包含三个阶段：在3DMM生成的数据上进行预训练，解耦身份与残差特征，以及在重建与识别双重监督下进行联合优化。
• 通过联合监督信号对模型进行微调，使其表示能力超越原始3DMM基空间。

实验结果

研究问题

• RQ1 能否通过联合优化3D人脸重建与人脸识别，同时提升两个任务的性能？
• RQ2 深度网络在从单张2D图像中解耦身份敏感与身份无关特征方面，效果如何？
• RQ3 与传统3DMM方法相比，该方法在捕捉判别性面部细节与身份特征方面，提升程度如何？
• RQ4 解耦的3D形状特征是否能提升人脸识别准确率，尤其是在大姿态等挑战性条件下？
• RQ5 联合训练方案是否使模型能够泛化至3DMM形状空间之外？

主要发现

• 在BU3DFE（姿态）数据集上，该方法实现了2.00±0.32的重建RMSE，显著低于基线方法，证明了其在3D人脸重建精度方面的最先进水平。
• 在IJB-A数据集上，该方法实现了94.43±1.47的TAR-10%和88.74±1.03的TAR-1%的性能，优于现有的基于3DMM和仅使用CNN的方法。
• 通过引入识别损失进行联合训练，重建误差从第二阶段的2.23±0.48降低至第三阶段的2.00±0.32，证明了联合监督的有效性。
• 该方法成功实现了身份敏感特征的解耦，表现为重建的身份形状保留了判别性特征，同时去除了非身份相关细节。
• 与DR-GAN融合后，IJB-A上的识别准确率提升至93.9±0.9，表明解耦的3D形状特征与基于纹理的特征具有互补性。
• 该方法在大姿态旋转等挑战性情况下泛化能力出色，此时基于纹理的方法失效，而3D形状特征仍能实现正确识别。