[论文解读] Domain Re-Modulation for Few-Shot Generative Domain Adaptation

Yi Wu, Ziqiang Li+5 more|arXiv (Cornell University)|Feb 6, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出领域重调制（DoRM），一种用于少样本生成式域自适应的新生成器结构。该方法冻结预训练的源生成器，并引入可学习的映射与仿射模块（M&A），以实现高保真度、多样化且跨域一致的图像生成。通过利用StyleGAN风格空间中的线性可组合性，DoRM支持多域和混合域生成，在10-shot GDA中实现了最先进性能，并通过基于相似性的结构损失提升了跨域一致性。

ABSTRACT

In this study, we delve into the task of few-shot Generative Domain Adaptation (GDA), which involves transferring a pre-trained generator from one domain to a new domain using only a few reference images. Inspired by the way human brains acquire knowledge in new domains, we present an innovative generator structure called Domain Re-Modulation (DoRM). DoRM not only meets the criteria of high quality, large synthesis diversity, and cross-domain consistency, which were achieved by previous research in GDA, but also incorporates memory and domain association, akin to how human brains operate. Specifically, DoRM freezes the source generator and introduces new mapping and affine modules (M&A modules) to capture the attributes of the target domain during GDA. This process resembles the formation of new synapses in human brains. Consequently, a linearly combinable domain shift occurs in the style space. By incorporating multiple new M&A modules, the generator gains the capability to perform high-fidelity multi-domain and hybrid-domain generation. Moreover, to maintain cross-domain consistency more effectively, we introduce a similarity-based structure loss. This loss aligns the auto-correlation map of the target image with its corresponding auto-correlation map of the source image during training. Through extensive experiments, we demonstrate the superior performance of our DoRM and similarity-based structure loss in few-shot GDA, both quantitatively and qualitatively. The code will be available at https://github.com/wuyi2020/DoRM.

研究动机与目标

• 为解决现有少样本GAN自适应方法重新训练整个生成器所带来的局限，这些方法限制了多域与混合域生成能力。
• 仅使用少量参考图像，实现新领域中高效且高保真度的图像生成。
• 赋予生成器记忆与领域关联能力，模仿人类大脑的学习机制。
• 通过一种新颖的基于相似性的结构损失，提升源图像与适配后目标图像之间的跨域一致性。

提出的方法

• DoRM引入了新的映射与仿射模块（M&A），在冻结预训练源生成器的前提下进行端到端训练，实现特定于领域的风格调制。
• M&A模块被训练以在风格空间中诱导出线性可组合的领域偏移，通过同时激活多个模块，实现多域与混合域生成。
• 提出一种基于相似性的结构损失 $L_{ss}$，通过对齐源图像与目标图像的中间CLIP特征的自相关图，增强跨域一致性。
• 该方法利用CLIP的图像编码器提取中间标记，并计算自相关图以提供损失监督。
• 生成器结构支持按目标领域选择性激活M&A模块，实现高效存储与推理。
• 该方法在2D（StyleGAN2）与3D（EG3D）生成对抗网络上均进行了评估，证明了其在不同架构间的泛化能力。

Figure 1: Left : Framework of our DoRM. Given a generator of StyleGAN2 structure pre-trained on a source domain (components in the white dotted blocks), we can realize multi-domain generation and hybrid-domain generation by activating the corresponding trained M&A modules (components in the colourfu

实验结果

研究问题

• RQ1 能否实现一种少样本GAN自适应方法，在支持多域与混合域生成的同时，实现高保真度、多样化且一致的图像生成？
• RQ2 生成器如何保留先前学习过的领域知识，并将其整合以实现新颖的混合域生成？
• RQ3 可学习的模块化自适应机制是否能在效率、一致性和泛化能力方面超越完整的生成器微调？
• RQ4 基于相似性的结构损失在多大程度上能提升少样本GAN自适应中的跨域对齐效果？
• RQ5 所提出的方法是否能在不同GAN架构（包括3D GAN）上实现泛化？

主要发现

• 在10-shot GDA中，DoRM在Sketches数据集上达到0.9492的CLIP特征余弦相似度，在Babies数据集上达到0.9780，优于所有基线方法。
• 在混合域生成（如Sketches-Babies）中，DoRM的CLIP相似度达到0.8809/0.7271，显著优于Domain Expansion与DynaGAN等方法。
• DoRM展现出卓越的跨域一致性，确保在不同目标域中，源图像与适配后图像在身份与姿态上保持对齐。
• 该方法实现了多个适配领域之间的平滑潜在插值与编辑，证实了风格过渡的渐进性与语义合理性。
• 在EG3D的一-shot GDA中，DoRM成功生成了Sketch领域中的高质量图像，同时保持了源图像的身份特征。
• 定性结果证实，DoRM在标准域与混合域中均能生成逼真、多样化且一致的图像，且在混合域生成中未观察到任何失败案例。

Figure 2: Our framework ( DoRM ) is based on StyleGAN2. In the Synthesis network $g(\cdot)$ (gray blocks), the source affines $A_{s}$ and the source mapping $f_{s}$ constitute the pre-trained source generator on a source domain. To achieve generative domain Adaptation, we incorporate a new target ma