[论文解读] Generalized One-shot Domain Adaptation of Generative Adversarial Networks

Zicheng Zhang, Yinglu Liu+4 more|arXiv (Cornell University)|Sep 8, 2022

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

本文提出了一种用于生成对抗网络（GANs）中广义单次域自适应的新框架，通过使用参考图像及其二值掩码，实现风格与实体的同步迁移。通过利用切片Wasserstein距离对齐内部特征分布，并引入变分拉普拉斯正则化以保持流形一致性，该方法在提升跨域对应关系的同时，实现了高保真度的图像合成与可控图像编辑。

ABSTRACT

The adaptation of a Generative Adversarial Network (GAN) aims to transfer a pre-trained GAN to a target domain with limited training data. In this paper, we focus on the one-shot case, which is more challenging and rarely explored in previous works. We consider that the adaptation from a source domain to a target domain can be decoupled into two parts: the transfer of global style like texture and color, and the emergence of new entities that do not belong to the source domain. While previous works mainly focus on style transfer, we propose a novel and concise framework to address the extit{generalized one-shot adaptation} task for both style and entity transfer, in which a reference image and its binary entity mask are provided. Our core idea is to constrain the gap between the internal distributions of the reference and syntheses by sliced Wasserstein distance. To better achieve it, style fixation is used at first to roughly obtain the exemplary style, and an auxiliary network is introduced to the generator to disentangle entity and style transfer. Besides, to realize cross-domain correspondence, we propose the variational Laplacian regularization to constrain the smoothness of the adapted generator. Both quantitative and qualitative experiments demonstrate the effectiveness of our method in various scenarios. Code is available at \url{https://github.com/zhangzc21/Generalized-One-shot-GAN-adaptation}.

研究动机与目标

• 解决先前单次GAN自适应方法仅关注风格迁移而忽略实体迁移的局限性。
• 构建一个广义的单次GAN自适应任务，通过引入二值实体掩码更精确地定义目标域。
• 实现仅从一张参考图像中同时迁移全局风格（颜色、纹理）和特定实体（如帽子、配饰）的功能。
• 保持源生成流形的几何结构，防止自适应过程中的内容失真。
• 支持灵活的图像编辑任务，如语义编辑、风格迁移和实体移除，利用自适应后的生成器完成。

提出的方法

• 将生成器解耦为两个分支：主分支用于风格化图像生成，辅助分支利用二值掩码进行特定实体的生成。
• 通过潜在空间变换实现风格固定，将所有生成图像绑定至样本图像的风格。
• 最小化参考图像与生成图像之间内部特征分布的切片Wasserstein距离，以对齐风格与实体表征。
• 引入变分拉普拉斯正则化，平滑生成器的更新过程，保持源流形的几何结构。
• 结合重建损失与风格及实体特定损失，稳定训练过程并提升生成图像的保真度。
• 通过操纵潜在码，利用自适应后的生成器实现下游任务，如语义编辑与实体操控。

实验结果

研究问题

• RQ1 在仅使用一张参考图像和掩码的单次设置下，GAN自适应框架能否有效实现风格与新实体的联合迁移？
• RQ2 与仅依赖风格的方法相比，引入二值实体掩码在多大程度上提升了域自适应的准确率与灵活性？
• RQ3 内部特征分布之间的切片Wasserstein距离在多大程度上增强了风格与实体分量的分布对齐？
• RQ4 变分拉普拉斯正则化是否能有效保持源流形结构并防止自适应过程中的内容失真？
• RQ5 自适应后的生成器能否在保持高保真度的前提下，支持如语义编辑与实体移除等高级图像编辑任务？

主要发现

• 所提方法在广义单次GAN自适应任务中达到最先进性能，在定性和定量评估中均优于FSGA、MTG、JoJoGAN和OSCLIP等基线模型。
• 消融实验表明，实体损失（$\mathcal{L}_{ent}$）对生成目标实体至关重要，而变分拉普拉斯正则化（$\mathcal{L}_{VLapR}$）显著减少了噪声与伪影。
• 移除风格损失（$\mathcal{L}_{style}$）可提升Inception Score（IS）与Fréchet Inception Distance（FID），但会降低视觉质量，表明指标与感知保真度之间存在权衡。
• 自适应后的生成器保持了强大的跨域对应关系，可在多种源域（如人脸、狗、教堂）上实现内容与实体的精确语义编辑。
• 该框架支持高级编辑任务，如风格迁移、姿态/年龄编辑与实体移除，展现出在艺术创作中的实用价值。
• 训练时间高效：在RTX 3090上，非零掩码参考图像耗时3–5分钟，零掩码图像耗时3分钟，显著快于FSGA等基线方法（48分钟）。