[论文解读] Extreme 3D Face Reconstruction: Looking Past Occlusions.

Anh Tran, Tal Hassner+4 more|arXiv (Cornell University)|Dec 14, 2017

Face recognition and analysis参考文献 36被引用 15

一句话总结

本文提出了一种分层3D人脸重建方法，通过使用深度卷积编码器-解码器网络预测法线图，将全局形状估计与中等层次的人脸细节解耦，从而在极端视角和遮挡条件下实现高保真3D人脸重建，而现有方法在此类情况下会失效。

ABSTRACT

Existing single view, 3D face reconstruction methods can produce beautifully detailed 3D results, but typically only for near frontal, unobstructed viewpoints. We describe a system designed to provide detailed 3D reconstructions of faces viewed under extreme conditions, out of plane rotations, and occlusions. Motivated by the concept of bump mapping, we propose a layered approach which decouples estimation of a global shape from its mid-level details (e.g., wrinkles). We estimate a coarse 3D face shape which acts as a foundation and then separately layer this foundation with details represented by a bump map. We show how a deep convolutional encoder-decoder can be used to estimate such bump maps. We further show how this approach naturally extends to generate plausible details for occluded facial regions. We test our approach and its components extensively, quantitatively demonstrating the invariance of our estimated facial details. We further provide numerous qualitative examples showing that our method produces detailed 3D face shapes in viewing conditions where existing state of the art often break down.

研究动机与目标

• 解决现有3D人脸重建方法在极端视角和遮挡条件下失效的局限性。
• 实现在最先进方法失效的挑战性视角条件下，实现详细3D人脸重建。
• 将全局人脸形状估计与如皱纹等中等层次的人脸细节解耦，以提高鲁棒性。
• 开发一种基于深度学习的方法，在遮挡区域也能生成合理的人脸细节。
• 证明估计的人脸细节在不同视角和遮挡模式下保持不变。

提出的方法

• 该方法首先估计一个粗略的3D人脸形状，作为添加细节前的基础几何先验。
• 将皱纹等中等层次的人脸细节建模为叠加在粗略形状上的法线图。
• 训练一个深度卷积编码器-解码器网络，从单张图像预测法线图。
• 法线图表示方式可通过可见部分的上下文信息，在遮挡的人脸区域生成合理细节。
• 该方法设计为对平面外旋转和部分遮挡具有不变性。
• 系统将法线图与粗略形状结合，生成最终的详细3D人脸重建结果。

实验结果

研究问题

• RQ1 基于深度学习的法线图预测方法是否能在极端视角下生成详细3D人脸重建？
• RQ2 该模型在部分或完全遮挡的面部区域上泛化能力如何？
• RQ3 估计的人脸细节表示在大幅视角变化下具有多大程度的不变性？
• RQ4 与端到端方法相比，解耦的形状与细节表示是否能提升在挑战性条件下的重建质量？
• RQ5 法线图方法是否能在无图像证据的遮挡区域实现合理细节合成？

主要发现

• 所提方法在先前最先进方法失效的极端视角条件下，实现了高保真3D人脸重建。
• 实验定量证明，估计的人脸细节在不同视角下表现出强不变性。
• 模型成功利用可见部分的上下文信息，在遮挡区域生成了合理可信的中等层次人脸细节（如皱纹）。
• 定性结果表明，即使在严重遮挡和非正前方视角下，该方法仍能生成细节丰富且逼真的3D人脸。
• 消融研究证实，分层方法在挑战性条件下有效提升了重建质量。
• 基于法线图的表示方式实现了鲁棒的细节预测，且无需对遮挡区域提供显式监督。