[论文解读] Extreme 3D Face Reconstruction: Seeing Through Occlusions

Anh Tran, Tal Hassner+4 more|arXiv (Cornell University)|Dec 14, 2017

Face recognition and analysis参考文献 52被引用 4

一句话总结

本文提出了一种新颖的深度学习框架，用于极端条件下的3D人脸重建，通过使用凸起图（bump map）表示法，将全局人脸形状估计与中等层次的人脸细节分离。通过先估计一个稳健的基础形状，并通过卷积编码器-解码器网络独立预测表面细节变化，该方法即使在严重遮挡和非平面旋转条件下，也能实现高保真度的3D重建，在具有挑战性的非约束输入下，其定量精度和定性鲁棒性均优于当前最先进方法。

ABSTRACT

Existing single view, 3D face reconstruction methods can produce beautifully detailed 3D results, but typically only for near frontal, unobstructed viewpoints. We describe a system designed to provide detailed 3D reconstructions of faces viewed under extreme conditions, out of plane rotations, and occlusions. Motivated by the concept of bump mapping, we propose a layered approach which decouples estimation of a global shape from its mid-level details (e.g., wrinkles). We estimate a coarse 3D face shape which acts as a foundation and then separately layer this foundation with details represented by a bump map. We show how a deep convolutional encoder-decoder can be used to estimate such bump maps. We further show how this approach naturally extends to generate plausible details for occluded facial regions. We test our approach and its components extensively, quantitatively demonstrating the invariance of our estimated facial details. We further provide numerous qualitative examples showing that our method produces detailed 3D face shapes in viewing conditions where existing state of the art often break down.

研究动机与目标

• 解决现有3D人脸重建方法在严重遮挡和大角度头部旋转等极端条件下失效的局限性。
• 在保持对挑战性视角条件鲁棒性的前提下，实现细节丰富的3D人脸重建。
• 将全局形状估计与中等层次的人脸细节预测解耦，以提升泛化能力并更好地处理遮挡区域。
• 开发一种方法，在遮挡区域通过基于样本的填孔技术和3D软对称性，生成合理且保持身份一致的面部细节。
• 证明凸起图表示法对遮挡具有不变性，即使面部部分被遮挡，也能保留身份信息。

提出的方法

• 该方法使用深度卷积编码器-解码器网络来估计面部凸起图，凸起图编码了如皱纹和毛孔等中等层次的表面细节。
• 首先估计一个粗略的3D人脸形状作为基础，然后通过叠加预测的凸起图来添加精细细节。
• 对于遮挡区域，采用基于样本的填孔技术，利用参考3D人脸来合成合理的面部细节。
• 使用3D软对称性，通过利用面部对称结构来推断自遮挡的面部特征。
• 凸起图估计通过端到端训练，损失函数被设计为鼓励身份保持和几何一致性。
• 系统在CASIA 3D人脸数据集上进行训练和评估，并使用ImageNet预训练模型进行迁移学习。

实验结果

研究问题

• RQ1 基于深度学习的凸起图估计方法是否能在包括遮挡和大角度旋转在内的极端视角条件下，生成细节丰富的3D人脸重建？
• RQ2 当面部部分被遮挡时，凸起图在多大程度上仍能保留身份信息？
• RQ3 基于样本的填孔方法是否能生成合理且身份一致的遮挡区域面部细节？
• RQ4 与端到端3D重建网络相比，全局形状与局部细节的模块化分离在多大程度上提升了鲁棒性？
• RQ5 使用3D软对称性是否能增强对自遮挡面部特征的恢复能力？

主要发现

• 所提出的凸起图估计方法在LFW图像上实现了高识别准确率，当使用基于AlexNet的验证系统时，在CASIA数据集上达到92.1%的top-1准确率。
• 当引入75×75像素的遮挡时，凸起图上的识别准确率从92.1%下降至68.3%，表明原始凸起图对遮挡较为敏感。
• 基于样本的填孔方法恢复了89.4%的原始识别准确率，表明生成的细节高度合理且保持身份一致性。
• 定性比较显示，即使在当前最先进方法失败或生成通用形状的情况下，该方法仍能生成细节丰富且逼真的3D人脸。
• 与端到端系统（如Sela等人[44]）相比，该方法在处理遮挡和旋转人脸时表现更优，同时保持了细节和结构一致性。
• 消融实验证实，模块化设计（即形状基础与凸起图细节分离）在极端条件下能带来更鲁棒和更准确的重建结果。