[论文解读] Data-Free Point Cloud Network for 3D Face Recognition

Ziyu Zhang, Feipeng Da+1 more|arXiv (Cornell University)|Nov 12, 2019

Face recognition and analysis参考文献 29被引用 13

一句话总结

本文提出了一种无需真实数据的3D人脸识别方法，该方法仅使用基于高斯过程可变形模型（GPMM）生成的合成3D人脸扫描数据，训练一个PointNet++架构的网络，并采用曲率感知点采样（CPS）策略以增强特征提取。该模型在真实人脸数据上泛化良好，经少量真实数据微调后达到最先进性能，展现出对姿态和表情变化的强鲁棒性。

ABSTRACT

Point clouds-based Networks have achieved great attention in 3D object classification, segmentation and indoor scene semantic parsing. In terms of face recognition, 3D face recognition method which directly consume point clouds as input is still under study. Two main factors account for this: One is how to get discriminative face representations from 3D point clouds using deep network; the other is the lack of large 3D training dataset. To address these problems, a data-free 3D face recognition method is proposed only using synthesized unreal data from statistical 3D Morphable Model to train a deep point cloud network. To ease the inconsistent distribution between model data and real faces, different point sampling methods are used in train and test phase. In this paper, we propose a curvature-aware point sampling(CPS) strategy replacing the original furthest point sampling(FPS) to hierarchically down-sample feature-sensitive points which are crucial to pass and aggregate features deeply. A PointNet++ like Network is used to extract face features directly from point clouds. The experimental results show that the network trained on generated data generalizes well for real 3D faces. Fine tuning on a small part of FRGCv2.0 and Bosphorus, which include real faces in different poses and expressions, further improves recognition accuracy.

研究动机与目标

• 解决用于训练深度网络的大规模3D人脸数据集缺乏的问题。
• 缓解合成训练数据与真实世界3D人脸扫描之间的域差距。
• 设计一种能够有效捕捉局部与全局面部特征的点云感知深度网络。
• 在无需真实训练数据的前提下，仅使用合成数据和极少真实样本微调，实现高性能3D人脸识别。
• 通过分布感知采样和网络设计，提升模型在姿态和表情变化下的泛化能力。

提出的方法

• 利用高斯过程可变形模型（GPMM）合成大规模3D人脸扫描，生成具有不同形状和表情的多样化身份。
• 提出一种曲率感知点采样（CPS）策略，根据几何曲率分层下采样对特征敏感的点，替代标准的最远点采样（FPS）。
• 设计一种改进的PointNet++架构，直接从原始点云中提取分层的局部与全局特征。
• 在推理阶段引入人脸区域约束，使采样分布与真实人脸数据对齐，降低合成数据与真实数据之间的域偏移。
• 在合成数据上使用Softmax分类端到端训练网络，随后在FRGCv2.0和Bosphorus数据集的少量真实人脸扫描上进行微调。
• 使用512维特征嵌入进行人脸验证与识别，评估在标准基准测试下姿态和表情变化下的性能。

实验结果

研究问题

• RQ1 仅在合成3D人脸数据上训练的深度点云网络，能否在真实世界3D人脸识别任务中实现有效泛化？
• RQ2 与标准最远点采样（FPS）相比，曲率感知点采样（CPS）在3D人脸识别中如何提升特征表示能力？
• RQ3 在少量真实人脸扫描上进行微调，能在多大程度上提升在合成数据上预训练模型的性能？
• RQ4 所提方法在真实世界3D人脸数据中面对姿态和面部表情变化时，其鲁棒性如何？
• RQ5 当使用GPMM生成的数据时，训练数据规模对识别准确率有何影响？

主要发现

• 在仅使用合成数据训练的情况下，该方法在FRGCv2.0数据集上达到92.74%的rank-1准确率，显著优于标准PointNet++（72.55%）。
• 在FRGCv2.0的466张真实人脸扫描上微调后，模型的rank-1准确率达到98.73%，接近在超过300万张扫描数据上训练的FR3DNet（99.88%）的性能。
• 在Bosphorus数据集上，该模型在未微调的整体测试集上达到93.38%的rank-1准确率，微调30个身份后提升至97.50%。
• 曲率感知点采样（CPS）策略显著提升了特征学习能力，表现为标准PointNet++与所提方法之间的性能差距。
• 在真实数据上微调可带来显著的性能提升——尤其在表情不变性任务中表现突出，证明了预训练-微调流程的有效性。
• 该模型对未见身份泛化良好，并在包括中性、愤怒、恐惧和惊讶等各类表情类别中均保持强性能。