[论文解读] Few-shot Image Generation via Adaptation-Aware Kernel Modulation

Yunqing Zhao, Keshigeyan Chandrasegaran+2 more|arXiv (Cornell University)|Oct 29, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出了一种新颖的少样本图像生成方法——自适应感知核调制（Adaptation-Aware Kernel Modulation, AdAM），通过同时基于源域和目标域特征选择源模型知识，改进了迁移学习。与以往仅保留源域知识的方法不同，AdAM通过自适应感知核调制识别可迁移特征，在多种源-目标域接近程度下均实现了最先进性能，包括极具挑战性的设置如 FFHQ → Cars 仅使用10张样本（FID: 80.55）。

ABSTRACT

Few-shot image generation (FSIG) aims to learn to generate new and diverse samples given an extremely limited number of samples from a domain, e.g., 10 training samples. Recent work has addressed the problem using transfer learning approach, leveraging a GAN pretrained on a large-scale source domain dataset and adapting that model to the target domain based on very limited target domain samples. Central to recent FSIG methods are knowledge preserving criteria, which aim to select a subset of source model's knowledge to be preserved into the adapted model. However, a major limitation of existing methods is that their knowledge preserving criteria consider only source domain/source task, and they fail to consider target domain/adaptation task in selecting source model's knowledge, casting doubt on their suitability for setups of different proximity between source and target domain. Our work makes two contributions. As our first contribution, we re-visit recent FSIG works and their experiments. Our important finding is that, under setups which assumption of close proximity between source and target domains is relaxed, existing state-of-the-art (SOTA) methods which consider only source domain/source task in knowledge preserving perform no better than a baseline fine-tuning method. To address the limitation of existing methods, as our second contribution, we propose Adaptation-Aware kernel Modulation (AdAM) to address general FSIG of different source-target domain proximity. Extensive experimental results show that the proposed method consistently achieves SOTA performance across source/target domains of different proximity, including challenging setups when source and target domains are more apart. Project Page: https://yunqing-me.github.io/AdAM/

研究动机与目标

• 解决现有少样本图像生成（FSIG）方法仅依赖源域知识保留的局限性，忽略对目标域的适应性。
• 探究当源域与目标域在语义上相距较远时，现有最先进FSIG方法是否因违反接近性假设而性能下降。
• 提出一种方法，通过联合考虑源域和适应任务，识别从源域到目标域的可迁移知识。
• 在多种源-目标域设置中实现一致的最先进性能，包括极具挑战性的案例如 FFHQ → Cars 仅使用10张样本。

提出的方法

• 提出自适应感知核调制（AdAM）机制，根据源模型特征和目标域适应信号，调制生成器中的卷积核权重。
• 引入一种知识保留准则，评估源模型卷积核的重要性，不仅针对源任务，也针对有效适应目标域。
• 使用可微的自适应感知损失，引导选择对在目标域中生成多样化且高保真图像最有益的源模型卷积核。
• 使用带核调制的改进GAN损失训练适配后的GAN，使模型仅保留来自源模型的最具迁移性的知识。
• 在少样本微调设置中应用该方法，仅需10–100个目标样本，无需重新训练整个生成器。
• 以预训练的StyleGAN2作为源模型，通过轻量级适配器头与调制卷积核，将其适配至目标域。

实验结果

研究问题

• RQ1 当源域与目标域语义上相距较远、违反接近性假设时，现有最先进FSIG方法的性能是否会下降？
• RQ2 能否通过同时考虑源任务与适应任务的准则，有效识别从源域到远距离目标域的可迁移知识？
• RQ3 当知识保留由自适应感知准则而非仅源域准则引导时，少样本图像生成是否能获得显著性能提升？
• RQ4 在如 FFHQ → Cars 这类极具挑战性的少样本设置中，所提出的AdAM方法与从零训练及其它最先进基线方法相比表现如何？

主要发现

• 在极具挑战性的 FFHQ → Cars 少样本设置中，仅使用10个训练样本，AdAM实现了80.55的Fréchet Inception距离（FID），显著优于从零训练（FID: 201.34）。
• AdAM的FID更低，且样本内多样性更高（Intra-LPIPS: 0.425），优于所有最先进基线方法，包括CDC（FID: 109.53）和DCL（FID: 125.96），证明其在图像质量和多样性方面表现更优。
• 当源域与目标域之间的接近性假设被放宽时，现有最先进方法如EWC和CDC的性能并不优于简单微调，表明其在远距离域适应中的局限性。
• 消融研究证实，AdAM中的自适应感知知识选择至关重要，若移除目标感知组件，性能将下降。
• 即使在如 FFHQ → Cars 这类远距离域设置中，仍存在可迁移知识（如低级边缘与形状），AdAM可有效利用这些知识生成高质量图像。
• 该方法在多个域对中均保持强劲性能，涵盖接近设置（如人脸 → 婴儿脸）和远距离设置（如人脸 → 汽车），证明其具备强大的泛化能力。