[论文解读] Identity Preserving Face Completion for Large Ocular Region Occlusion

Yajie Zhao, Weikai Chen+6 more|arXiv (Cornell University)|Jul 23, 2018

Face recognition and analysis参考文献 24被引用 15

一句话总结

本文提出了一种深度学习框架，用于在VR/AR头戴设备造成大范围遮挡时实现身份保持的面部补全。该方法利用参考图像来确保身份一致性，并通过姿态图与姿态判别器来维持不同头部姿态下的结构连贯性，在真实和合成数据上的生成质量和鲁棒性显著优于现有方法。

ABSTRACT

We present a novel deep learning approach to synthesize complete face images in the presence of large ocular region occlusions. This is motivated by recent surge of VR/AR displays that hinder face-to-face communications. Different from the state-of-the-art face inpainting methods that have no control over the synthesized content and can only handle frontal face pose, our approach can faithfully recover the missing content under various head poses while preserving the identity. At the core of our method is a novel generative network with dedicated constraints to regularize the synthesis process. To preserve the identity, our network takes an arbitrary occlusion-free image of the target identity to infer the missing content, and its high-level CNN features as an identity prior to regularize the searching space of generator. Since the input reference image may have a different pose, a pose map and a novel pose discriminator are further adopted to supervise the learning of implicit pose transformations. Our method is capable of generating coherent facial inpainting with consistent identity over videos with large variations of head motions. Experiments on both synthesized and real data demonstrate that our method greatly outperforms the state-of-the-art methods in terms of both synthesis quality and robustness.

研究动机与目标

• 解决因VR/AR头戴设备遮挡眼部大范围区域而导致的逼真面部补全挑战，此类遮挡会阻碍面对面交流。
• 克服现有面部补全方法缺乏身份控制且在非正面对齐或姿态变化下失效的局限性。
• 在具有大范围头部运动的视频序列中，实现身份的一致性保持与姿态变化的处理。
• 开发一种生成框架，利用参考图像和姿态监督来引导逼真且连贯的面部补全。

提出的方法

• 引入一个参考网络，从目标身份的任意无遮挡图像中提取身份先验，以正则化生成器的搜索空间。
• 将姿态图作为输入，以条件化生成器并指导生成姿态一致的面部结构。
• 采用姿态判别器，通过比较预测与真实姿态图来惩罚不合理的姿态变换。
• 应用全局判别器，以确保生成像素与周围背景之间的上下文一致性。
• 使用多损失目标联合训练生成器，包括感知损失、对抗损失和身份保持损失。
• 利用在合成数据上预训练的姿态预测网络，从遮挡图像中估计头部姿态，以支持实际部署。

实验结果

研究问题

• RQ1 深度生成模型能否在存在大范围遮挡的情况下，仍生成高保真度的面部补全并保持主体身份？
• RQ2 当参考图像与输入图像在姿态、光照或背景上不同时，如何实现身份控制？
• RQ3 该模型能否在视频序列中对不同头部姿态生成连贯的面部结构？
• RQ4 姿态判别器在多大程度上提升了重建面部姿态的真实感与正确性？
• RQ5 在大范围头部运动条件下，该方法与当前最先进方法相比，在视觉质量和鲁棒性方面表现如何？

主要发现

• 所提方法在真实和合成数据中均显著优于当前最先进面部补全方法，在生成质量与鲁棒性方面表现优异。
• 即使在头部姿态大幅变化的情况下，模型仍能生成高保真度的面部细节，并与周围背景实现连贯融合。
• 在视频序列中，通过使用单张参考图像，身份保持效果稳定一致，证明了其帧间一致性。
• 姿态判别器成功减少了高层姿态错误，使生成图像中面部朝向更加自然真实。
• 在使用HTC Vive VR头戴设备的真实视频序列中，该方法生成结果稳定，伪影少，抖动显著低于先前方法。
• 尽管在掩码边界附近因阴影导致部分伪影，但与Li et al.和Iizuka et al.相比，本方法在视觉质量与一致性方面有显著提升。