[论文解读] Domain Embedded Multi-model Generative Adversarial Networks for Image-based Face Inpainting

Xian Zhang, Xin Wang+8 more|arXiv (Cornell University)|Feb 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 7

一句话总结

该论文提出了一种领域嵌入多模型生成对抗网络（DEGNet），通过将面部特定的领域知识（如面部掩码、关键点和部件分割）嵌入变分自编码器衍生的潜在空间，以指导生成过程，实现高质量的基于图像的人脸修复。该方法采用多判别器设置，结合全局和局部图像块的对抗性损失，确保结构一致性与逼真的细节表现，在CelebA、CelebA-HQ数据集上，尤其是在具有挑战性的侧脸修复任务中，取得了最先进性能，PSNR和SSIM指标均表现优异。

ABSTRACT

Prior knowledge of face shape and structure plays an important role in face inpainting. However, traditional face inpainting methods mainly focus on the generated image resolution of the missing portion without consideration of the special particularities of the human face explicitly and generally produce discordant facial parts. To solve this problem, we present a domain embedded multi-model generative adversarial model for inpainting of face images with large cropped regions. We firstly represent only face regions using the latent variable as the domain knowledge and combine it with the non-face parts textures to generate high-quality face images with plausible contents. Two adversarial discriminators are finally used to judge whether the generated distribution is close to the real distribution or not. It can not only synthesize novel image structures but also explicitly utilize the embedded face domain knowledge to generate better predictions with consistency on structures and appearance. Experiments on both CelebA and CelebA-HQ face datasets demonstrate that our proposed approach achieved state-of-the-art performance and generates higher quality inpainting results than existing ones.

研究动机与目标

• 为解决现有图像修复方法在生成结构一致且逼真的面部组件方面存在的局限性，特别是在大范围或不规则裁剪区域的修复中。
• 在生成过程中显式引入人类面部结构的先验知识，如对称性、部件关系与关键点信息。
• 提升在具有挑战性的场景（如侧脸修复）下的性能，此类场景中传统方法因缺乏或模糊的面部线索而失效。
• 构建一个统一框架，通过多判别器对抗训练策略，同时增强全局空间一致性与局部纹理真实感。

提出的方法

• 利用变分自编码器将面部特定的领域信息（掩码、关键点、部件分割）编码至潜在空间，形成生成器的结构化先验。
• 生成器将此嵌入领域知识的潜在码与非面部区域特征相结合，以合成结构一致、外观逼真的高保真面部图像。
• 采用双判别器架构：全局判别器确保整体空间一致性，而局部图像块判别器增强局部纹理真实感与细节表现。
• 训练框架结合重建损失、全局对抗损失与局部图像块对抗损失，以优化生成结果的保真度与真实感。
• 采用生成器与判别器之间的交替优化策略进行训练，并通过消融实验验证各组件的贡献。
• 在正面与侧脸修复任务上均进行了评估，结果表明模型对不规则且大范围缺失区域具有良好的鲁棒性。

实验结果

研究问题

• RQ1 显式嵌入面部特定领域知识（如关键点、掩码、部件标签）是否能提升图像修复中生成面部组件的结构真实感？
• RQ2 与单判别器方法相比，全局与局部图像块判别器的组合如何影响生成面部图像的质量与一致性？
• RQ3 所提方法能否泛化至具有挑战性的场景（如侧脸修复），其中面部对称性与特征可见度显著降低？
• RQ4 各组件（重建损失、全局判别器、局部判别器）对最终性能的贡献如何，以PSNR与SSIM指标衡量？
• RQ5 与未显式引入结构先验的端到端GAN相比，使用嵌入领域知识的潜在变量是否能产生更协调且更少伪影的结果？

主要发现

• 在CelebA与CelebA-HQ数据集上，DEGNet实现了最先进性能，对于大范围缺失区域，PSNR达27.97，SSIM达0.926，优于先前方法。
• 在侧脸修复任务中，DEGNet的PSNR为25.36，SSIM为0.886，显著优于次优方法（PM）的24.44（PSNR）与0.873（SSIM）。
• 消融实验表明，结合重建损失、全局判别器与局部判别器可获得最佳性能（PSNR: 26.208，SSIM: 0.895），其中局部判别器在提升细节方面起关键作用。
• 定性结果表明，DEGNet能生成对称且逼真的面部特征（如大小与颜色匹配的眼睛），避免了先前方法常见的不对称与模糊问题。
• 模型在不规则形状缺失区域上也表现出良好泛化能力，保持了高视觉质量与结构一致性，如图5所示。
• 引入嵌入领域知识的潜在变量显著提升了结构一致性，尤其在大范围缺失区域中，有效减少了伪影并提升了感知质量。