[论文解读] Learning to Regress 3D Face Shape and Expression from an Image without 3D Supervision

Soubhik Sanyal, Timo Bolkart+2 more|arXiv (Cornell University)|May 16, 2019

Face recognition and analysis参考文献 41被引用 6

一句话总结

RingNet 通过利用同一人的多张图像并使用基于环形的对比损失强制实现形状不变性，无需任何3D监督即可从单张图像回归3D人脸形状和表情。它在野外图像上实现了最先进水平的精度，仅使用2D面部关键点检测和FLAME 3D人脸模型，优于使用3D监督训练的方法。

ABSTRACT

The estimation of 3D face shape from a single image must be robust to variations in lighting, head pose, expression, facial hair, makeup, and occlusions. Robustness requires a large training set of in-the-wild images, which by construction, lack ground truth 3D shape. To train a network without any 2D-to-3D supervision, we present RingNet, which learns to compute 3D face shape from a single image. Our key observation is that an individual's face shape is constant across images, regardless of expression, pose, lighting, etc. RingNet leverages multiple images of a person and automatically detected 2D face features. It uses a novel loss that encourages the face shape to be similar when the identity is the same and different for different people. We achieve invariance to expression by representing the face using the FLAME model. Once trained, our method takes a single image and outputs the parameters of FLAME, which can be readily animated. Additionally we create a new database of faces `not quite in-the-wild' (NoW) with 3D head scans and high-resolution images of the subjects in a wide variety of conditions. We evaluate publicly available methods and find that RingNet is more accurate than methods that use 3D supervision. The dataset, model, and results are available for research purposes at http://ringnet.is.tuebingen.mpg.de.

研究动机与目标

• 在光照、姿态和遮挡等非约束条件下，从单张图像准确估计3D人脸形状和表情。
• 训练一个深度网络实现无配对3D真实值数据的2D到3D人脸形状回归，以克服真实世界中3D标注图像稀缺的问题。
• 利用同一人多张图像之间的身份一致性，学习形状不变性，即使表情、姿态和外观发生变化。
• 开发一个新的基准数据集NoW，包含高分辨率3D扫描和多样的成像条件，以实现严格的评估。
• 证明利用几何一致性进行自监督学习可超越依赖3D监督的方法。

提出的方法

• RingNet 使用同一身份的多张图像构成的环形结构，强制预测的3D人脸形状在不同视角下保持一致，同时允许姿态和表情变化。
• 采用一种新颖的基于环形的对比损失，最小化同一人不同图像之间的形状差异，同时最大化不同身份之间的形状差异。
• 直接回归FLAME 3D人脸模型的参数，该模型将形状、姿态和表情解耦，实现解耦学习。
• 使用OpenPose提取2D面部关键点，并通过FLAME模型将关键点投影到3D，以计算2D-3D特征损失。
• 训练目标结合了2D-3D关键点重投影损失和环形图像间的形状一致性损失，以提高几何精度。
• 该方法具有通用性，可扩展至使用2D关节点检测进行全身3D重建。

实验结果

研究问题

• RQ1 能否在无任何3D监督的情况下，从单张图像准确回归3D人脸形状？
• RQ2 能否利用同一人多张图像之间的身份一致性，训练无需配对3D数据的3D回归网络？
• RQ3 基于环形的对比损失是否在从2D图像学习3D几何方面优于标准三元组损失？
• RQ4 在真实世界条件下，自监督方法能否在3D人脸重建中超越3D监督方法？
• RQ5 与现有基准相比，NoW数据集在多大程度上提升了3D人脸重建方法的评估能力？

主要发现

• 在NoW数据集的人脸挑战中，RingNet的平均重建误差为1.23 mm，优于使用3D监督的方法如FLAME-neutral（1.34 mm）和[34]（1.83 mm）。
• 该方法在野外图像上实现了最先进性能，表现出对表情、姿态、光照、遮挡和胡须等的鲁棒性。
• 消融实验表明，将环的大小从3个元素增加到6个元素，可使重建误差从1.25 mm降低至1.19 mm，表明几何学习能力得到提升。
• 与仅使用三元组损失或单图像基线相比，基于环形的损失显著提高了形状一致性和3D精度。
• 尽管未使用3D监督，RingNet仍优于使用3D数据训练的方法，表明自监督的形状不变性是一种强大的归纳偏差。
• NoW数据集提供了高分辨率3D头像扫描和100名受试者的多样化图像，支持在复杂条件下进行严格评估。