[论文解读] Learning Disentangling and Fusing Networks for Face Completion Under Structured Occlusions

Zhihang Li, Yibo Hu+1 more|arXiv (Cornell University)|Dec 13, 2017

Face recognition and analysis参考文献 29被引用 7

一句话总结

本文提出DF-GAN，一种新型生成对抗网络，通过解耦和融合干净人脸与结构化遮挡，实现无需成对训练数据的面部补全。通过将面部补全建模为三个领域——被遮挡人脸、干净人脸和遮挡物——之间的解耦与融合过程，该方法采用编码器-解码器网络与双学习框架，结合领域特定判别器，生成逼真且保持身份一致的面部补全结果，在四个Meshface数据库上达到最先进性能。

ABSTRACT

Face completion aims to generate semantically new pixels for missing facial components. It is a challenging generative task due to large variations of face appearance. This paper studies generative face completion under structured occlusions. We treat the face completion and corruption as disentangling and fusing processes of clean faces and occlusions, and propose a jointly disentangling and fusing Generative Adversarial Network (DF-GAN). First, three domains are constructed, corresponding to the distributions of occluded faces, clean faces and structured occlusions. The disentangling and fusing processes are formulated as the transformations between the three domains. Then the disentangling and fusing networks are built to learn the transformations from unpaired data, where the encoder-decoder structure is adopted and allows DF-GAN to simulate structure occlusions by modifying the latent representations. Finally, the disentangling and fusing processes are unified into a dual learning framework along with an adversarial strategy. The proposed method is evaluated on Meshface verification problem. Experimental results on four Meshface databases demonstrate the effectiveness of our proposed method for the face completion under structured occlusions.

研究动机与目标

• 为解决在缺乏成对数据和遮挡结构建模不佳的情况下，传统方法在结构化遮挡下面部补全失效的挑战。
• 不将面部补全视为简单的图像修复，而是建模为干净人脸与遮挡物的解耦与融合过程。
• 开发一种框架，利用无成对数据学习三种领域——被遮挡人脸、干净人脸和结构化遮挡物——之间的变换。
• 通过生成高质量、身份一致的面部补全结果，提升在网格状遮挡下的面部验证性能。
• 证明该方法在面部补全之外的泛化能力，包括潜在扩展至风格迁移任务。

提出的方法

• 构建三个领域：被遮挡人脸（X）、干净人脸（Y）和结构化遮挡物（Z），代表不同的数据分布。
• 解耦生成器G将被遮挡人脸编码为潜在表征，并通过独立解码器解码为干净人脸和结构化遮挡物。
• 融合生成器F将干净人脸和遮挡物的潜在表征拼接，以合成新的被遮挡人脸。
• 解耦与融合过程在双学习框架下统一，实现在不同领域间的循环一致性。
• 使用领域特定判别器（D_X, D_Y, D_Z）通过对抗训练强制生成样本的真实性。
• 通过对抗损失和循环一致性损失端到端训练模型，实现在无成对训练样本情况下的生成。

实验结果

研究问题

• RQ1 能否将面部补全有效建模为干净人脸与结构化遮挡物的解耦与融合过程？
• RQ2 基于GAN的框架能否在无成对训练数据的情况下学习到有意义的干净人脸与遮挡物解耦表征？
• RQ3 显式建模结构化遮挡物是否能提升面部补全结果的质量与身份保持性？
• RQ4 学习到的表征是否支持如遮挡物特征的向量运算等有意义操作？
• RQ5 所提方法是否能提升在结构化遮挡下的下游面部验证性能？

主要发现

• DF-GAN在四个Meshface数据库上达到最先进性能，PSNR和SSIM得分均高于基线方法如CycleGAN。
• 在AR、MultiPIE、Color FERET和LFW数据集上，DF-GAN在不同表情和光照条件下生成视觉上合理且身份保持的面部补全结果。
• 该模型在非受限条件下泛化良好，成功完成野外图像中的人脸补全，包括LFW中的低分辨率和大姿态图像。
• 消融研究证实，DF-GAN学习的是随机网格图案的分布而非记忆它们，表现为能成功分离未见过的遮挡图案。
• 对网格表示进行向量运算可实现可控的遮挡合成：插值生成中间图案，相减可揭示无遮挡区域，表明潜在空间中存在线性结构。
• 所有数据集的ROC曲线验证了DF-GAN在补全后提升面部验证性能的有效性。