[论文解读] HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks

Aibek Alanov, В. В. Титов+1 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用 14

一句话总结

HyperDomainNet 提出了一种紧凑的 6,000 维领域向量，用于微调 StyleGAN2 生成器，将可训练参数从 3000 万减少至仅 6,000，同时保持与完整权重微调相当的性能。它引入了一种新颖的正则化损失以提升多样性，并设计了一个超网络（HyperDomainNet），实现了多领域适应，通过共享参数化实现对未见领域的泛化能力。

ABSTRACT

Domain adaptation framework of GANs has achieved great progress in recent years as a main successful approach of training contemporary GANs in the case of very limited training data. In this work, we significantly improve this framework by proposing an extremely compact parameter space for fine-tuning the generator. We introduce a novel domain-modulation technique that allows to optimize only 6 thousand-dimensional vector instead of 30 million weights of StyleGAN2 to adapt to a target domain. We apply this parameterization to the state-of-art domain adaptation methods and show that it has almost the same expressiveness as the full parameter space. Additionally, we propose a new regularization loss that considerably enhances the diversity of the fine-tuned generator. Inspired by the reduction in the size of the optimizing parameter space we consider the problem of multi-domain adaptation of GANs, i.e. setting when the same model can adapt to several domains depending on the input query. We propose the HyperDomainNet that is a hypernetwork that predicts our parameterization given the target domain. We empirically confirm that it can successfully learn a number of domains at once and may even generalize to unseen domains. Source code can be found at https://github.com/MACderRu/HyperDomainNet

研究动机与目标

• 在不牺牲性能的前提下，减少 GAN 领域适应中的可训练参数数量。
• 通过引入一种新型正则化损失，解决少样本领域适应中的模式崩溃问题。
• 利用一个超网络，实现单个生成器对多个领域的适应，预测领域特定的参数。
• 在多领域适应场景中，实现对未见领域的泛化能力。
• 为数据稀缺场景下的领域适应提供一种轻量化、可扩展的解决方案。

提出的方法

• 引入一种领域调制技术，将 6,000 维向量注入 StyleGAN2 的每个卷积层，用于领域适应。
• 将该领域向量应用于最先进的方法（如 StyleGAN-NADA 和 MindTheGAP），替代完整的生成器微调。
• 提出一种新颖的域内角度一致性损失（$\mathcal{L}_{\text{indomain-angle}}$），在适应过程中保持基于 CLIP 的图像相似性，以增强多样性。
• 设计 HyperDomainNet，一个基于输入领域描述（文本或图像）预测 6,000 维领域向量的超网络。
• 同时在多个领域上训练 HyperDomainNet，使用 CLIP 嵌入作为领域监督信号，并通过数据增强提升泛化能力。
• 采用两种训练方案：一种为固定领域设置，另一种为使用 CLIP 嵌入的凸包采样，以模拟未见领域。

实验结果

研究问题

• RQ1 一个紧凑的 6,000 维向量是否能够以相当的质量替代 StyleGAN2 中的完整生成器微调进行领域适应？
• RQ2 所提出的域内角度一致性损失是否能有效提升微调后生成器的多样性？
• RQ3 一个单一的超网络（HyperDomainNet）是否能够成功地同时适应单个生成器到多个领域？
• RQ4 HyperDomainNet 是否能够泛化到训练期间未见过的领域？
• RQ5 与为每个领域单独训练模型相比，该方法在可扩展性和效率方面是否更具优势？

主要发现

• 所提出的领域调制技术在将可训练参数减少 5,000 倍的同时，实现了与完整权重微调相当的生成质量。
• 域内角度一致性损失在文本驱动和少样本适应基准上，通过定性和定量验证，显著提升了多样性。
• HyperDomainNet 能够同时成功适应 20 个领域，其性能与为每个领域单独训练模型的结果相当。
• 在超过 200 个领域上使用增强后的 CLIP 嵌入进行训练后，HyperDomainNet 能够有效泛化到未见领域，生成合理且多样的样本。
• 该方法通过在多个领域间共享单一超网络，显著减少了训练时间和参数量，实现了高效的多领域适应。
• 消融实验证实，所提出的损失项在多领域设置下对 HyperDomainNet 的有效训练至关重要。