[论文解读] Face De-occlusion using 3D Morphable Model and Generative Adversarial Network

Xiaowei Yuan, In Kyu Park|arXiv (Cornell University)|Apr 12, 2019

Face recognition and analysis参考文献 34被引用 8

一句话总结

本文提出一种基于3DMM的条件生成对抗网络框架，用于人脸去遮挡。该方法利用3D可变形模型先验，从严重遮挡的输入中重建出高保真、逼真的面部图像。通过结合全局判别器与局部判别器，并利用3DMM的几何与语义信息引导生成器，该方法在多种姿态、光照和遮挡类型下均表现出鲁棒的去遮挡性能，实现了精确的3D人脸重建与属性编辑。

ABSTRACT

In recent decades, 3D morphable model (3DMM) has been commonly used in image-based photorealistic 3D face reconstruction. However, face images are often corrupted by serious occlusion by non-face objects including eyeglasses, masks, and hands. Such objects block the correct capture of landmarks and shading information. Therefore, the reconstructed 3D face model is hardly reusable. In this paper, a novel method is proposed to restore de-occluded face images based on inverse use of 3DMM and generative adversarial network. We utilize the 3DMM prior to the proposed adversarial network and combine a global and local adversarial convolutional neural network to learn face de-occlusion model. The 3DMM serves not only as geometric prior but also proposes the face region for the local discriminator. Experiment results confirm the effectiveness and robustness of the proposed algorithm in removing challenging types of occlusions with various head poses and illumination. Furthermore, the proposed method reconstructs the correct 3D face model with de-occluded textures.

研究动机与目标

• 解决真实图像中因眼镜、口罩和手部等严重遮挡导致的逼真人脸去遮挡挑战。
• 克服现有方法依赖于低分辨率、灰度或对齐图像等受限条件的局限性。
• 通过结合3DMM先验的深度生成模型恢复遮挡纹理，实现精确的3D人脸重建。
• 通过在去遮挡后操纵3DMM系数，实现人脸属性编辑。
• 构建大规模、多样化的合成人脸图像数据集，其中遮挡物按语义位置放置，用于训练与评估。

提出的方法

• 提出一种条件生成对抗网络框架，其中生成器以3DMM参数为条件，利用几何与语义先验引导去遮挡过程。
• 集成全局判别器以确保整体图像的一致性，以及聚焦于人脸区域的局部判别器，其基于3DMM的人脸对齐信息进行优化。
• 利用3DMM提取形状、纹理与姿态参数，作为生成器的输入，以引导缺失面部区域的合成。
• 采用对抗损失、感知损失与重建损失的组合进行模型训练，以确保输出的高保真度。
• 利用300W-3D与AFLW2000-3D数据集，通过人脸关键点定位生成大规模训练集，实现多样化遮挡的合成。
• 应用基于3DMM的拟合方法与形状从阴影（SfS）技术，从去遮挡图像中重建出详细的3D人脸几何结构。

Figure 2: Proposed network structure. It consists of a generator with two discriminators. The generator takes a synthesis image and an occluded image as input. Two discriminators help to generate a more natural result. Only the generator is necessary during testing.

实验结果

研究问题

• RQ1 基于3DMM的条件生成对抗网络能否有效从具有复杂姿态与光照的严重遮挡图像中恢复逼真的人脸纹理？
• RQ2 与标准生成对抗网络相比，将3DMM作为几何与语义先验是否能显著提升去遮挡性能？
• RQ3 当应用于遮挡输入图像时，所提方法在3D人脸重建质量方面提升程度如何？
• RQ4 去遮挡后的输出是否可用于下游任务，例如通过修改3DMM系数实现人脸属性编辑？
• RQ5 与单判别器设置相比，全局与局部判别器的组合在提升视觉保真度与细节恢复方面有何优势？

主要发现

• 所提方法成功去除了真实与合成图像中多种遮挡物（如眼镜、口罩与手部），适用于不同头像姿态与光照条件。
• 视觉对比显示，同时采用全局与局部判别器的模型生成结果最为逼真，眼睛等区域细节清晰，皮肤纹理自然。
• 从去遮挡图像中进行3D人脸重建可获得显著更干净、更精确的几何结构，而直接从遮挡输入重建则存在噪声与伪影问题。
• 利用去遮挡纹理重建的3D人脸模型具备正确形状与表面细节，证明该方法在3D重建流程中的有效性。
• 通过修改3DMM系数可实现人脸属性编辑：调整表情系数可从同一遮挡输入生成真实且可控的人脸图像。
• 消融实验表明，若移除3DMM先验或判别器，输出将变得模糊或不真实，验证了框架中各组件的必要性。

Figure 3: Occluded face image (left) and the 3DMM synthesis (right).