[论文解读] Do Inpainting Yourself: Generative Facial Inpainting Guided by Exemplars

Wanglong Lu, Hanli Zhao+6 more|arXiv (Cornell University)|Feb 13, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 EXE-GAN，一种利用样本图像引导实现逼真、高质量面部属性补全的生成式面部修复框架。通过结合输入图像的全局图像风格、随机潜在代码以及基于样本的属性风格，利用一种新颖的属性相似性度量和空间可变梯度反向传播，该方法实现了自然的过渡和精确的属性迁移，在 CelebA-HQ 和 FFHQ 数据集上优于当前最先进方法。

ABSTRACT

We present EXE-GAN, a novel exemplar-guided facial inpainting framework using generative adversarial networks. Our approach can not only preserve the quality of the input facial image but also complete the image with exemplar-like facial attributes. We achieve this by simultaneously leveraging the global style of the input image, the stochastic style generated from the random latent code, and the exemplar style of exemplar image. We introduce a novel attribute similarity metric to encourage networks to learn the style of facial attributes from the exemplar in a self-supervised way. To guarantee the natural transition across the boundaries of inpainted regions, we introduce a novel spatial variant gradient backpropagation technique to adjust the loss gradients based on the spatial location. Extensive evaluations and practical applications on public CelebA-HQ and FFHQ datasets validate the superiority of EXE-GAN in terms of the visual quality in facial inpainting.

研究动机与目标

• 解决利用样本图像实现用户引导的面部属性迁移的逼真面部修复挑战。
• 在使用类似样本的属性补全缺失区域的同时，保持输入面部图像的身份一致性和全局一致性。
• 确保修复边界处视觉过渡自然，避免伪影或不一致现象。
• 支持交互式、可直接应用的面部编辑，如发型编辑、属性迁移以及被遮挡面部的恢复。
• 引入一种自监督属性相似性度量和一种空间可变梯度反向传播技术，以提升训练稳定性和真实性。

提出的方法

• EXE-GAN 采用多风格生成器，融合输入图像的全局风格、来自随机潜在代码的随机风格以及来自参考图像的样本风格。
• 风格编码器从样本图像中提取潜在表征，随后通过风格混合与输入图像的全局风格及随机代码相结合。
• 提出一种新颖的属性相似性度量，用于在网络中自监督地学习从样本中提取的面部属性风格，而无需显式标注。
• 设计了一种空间可变梯度反向传播层（SVGL），根据空间位置调整梯度流动，从而在训练过程中减少边界伪影。
• 训练目标整合了对抗性损失、感知 LPIPS 损失、身份损失以及属性特定损失，以确保视觉保真度和属性一致性。
• 该框架通过引入随机性支持多样化推理，使得同一掩码输入和样本可生成多个合理的输出。

实验结果

研究问题

• RQ1 生成式面部修复模型能否在无监督自监督方式下，有效学习并迁移来自样本图像的面部属性风格？
• RQ2 如何在保持高视觉真实感的同时，最小化面部修复中的边界伪影？
• RQ3 在属性迁移过程中，该模型在多大程度上能够保持输入图像的身份和全局结构？
• RQ4 该框架能否支持交互式、用户引导的编辑，如基于草图的发型编辑或引导式风格混合？
• RQ5 在基准数据集上，该方法在视觉质量和属性保真度方面与当前最先进方法相比表现如何？

主要发现

• 在 CelebA-HQ 和 FFHQ 数据集上，EXE-GAN 的面部修复视觉质量优于当前最先进方法，经定性和定量评估验证。
• 所提出的属性相似性度量有效实现了从样本中自监督学习面部属性风格，提升了属性迁移的准确性，且无需人工标注。
• 空间可变梯度反向传播技术显著减少了掩码边界处的视觉伪影，使修复结果更加自然、无缝。
• 该框架成功实现了局部面部属性迁移，使用户能够借助样本引导，对眼睛、嘴巴或头发等特定特征进行编辑。
• 对于被遮挡面部（如戴口罩或太阳镜）的引导式面部恢复，其性能优于先前方法，包括 Lyu 等人提出的摘除眼镜方法，尤其在复杂遮挡情况下表现更优。
• 通过利用潜在噪声和截断法，该模型能够从同一输入生成多样化、随机的输出，使用户可选择最满意的修复结果。