[论文解读] DeltaGAN: Towards Diverse Few-shot Image Generation with Sample-Specific Delta

Yan Hong, Li Niu+2 more|arXiv (Cornell University)|Jul 21, 2022

Generative Adversarial Networks and Image Synthesis参考文献 79被引用 4

一句话总结

DeltaGAN 提出了一种新颖的少样本图像生成框架，通过使用重建子网络和生成子网络，学习支持图像之间的样本特定差异（即变换模式），从而提升生成图像的多样性。通过引入对抗性差异匹配损失，该方法能够从少样本输入中生成多样且高质量的图像，在六个基准数据集上的表现优于以往方法。

ABSTRACT

Learning to generate new images for a novel category based on only a few images, named as few-shot image generation, has attracted increasing research interest. Several state-of-the-art works have yielded impressive results, but the diversity is still limited. In this work, we propose a novel Delta Generative Adversarial Network (DeltaGAN), which consists of a reconstruction subnetwork and a generation subnetwork. The reconstruction subnetwork captures intra-category transformation, i.e., delta, between same-category pairs. The generation subnetwork generates sample-specific delta for an input image, which is combined with this input image to generate a new image within the same category. Besides, an adversarial delta matching loss is designed to link the above two subnetworks together. Extensive experiments on six benchmark datasets demonstrate the effectiveness of our proposed method. Our code is available at https://github.com/bcmi/DeltaGAN-Few-Shot-Image-Generation.

研究动机与目标

• 解决现有少样本图像生成方法在重建性能较强的情况下仍存在多样性受限的问题。
• 通过学习同一类别支持图像之间的变换差异，建模类别内变化。
• 通过将样本特定差异应用于输入支持图像，生成多样且逼真的图像。
• 通过对抗性差异匹配损失，统一重建与生成子网络，实现特征对齐。

提出的方法

• 该方法采用重建子网络，学习同一类别中图像对之间的类别内差异。
• 生成子网络学习为给定输入图像生成样本特定差异，随后将这些差异应用于生成新图像。
• 引入对抗性差异匹配损失，使生成的差异与重建子网络中的真实差异对齐。
• 通过将输入图像与生成的差异相结合，合成同一类别内多样化的图像。
• 在少样本图像生成基准上端到端训练模型，同时使用重建目标和对抗性目标。
• 在六个标准少样本图像生成数据集上评估该架构，以验证性能与多样性。

实验结果

研究问题

• RQ1 学习样本特定差异是否能在不牺牲重建质量的前提下提升少样本图像生成的多样性？
• RQ2 对抗性差异匹配在对齐生成差异与真实类别内变换方面有多有效？
• RQ3 DeltaGAN 在从极少数样本生成多样且逼真图像方面，相较于现有最先进方法的提升程度如何？
• RQ4 能否通过在差异表征上引入对抗性损失，有效同步重建与生成子网络？

主要发现

• DeltaGAN 在六个基准数据集上的少样本图像生成任务中达到最先进性能，展现出卓越的多样性与图像质量。
• 对抗性差异匹配损失显著提升了生成差异与真实差异之间的对齐程度，增强了生成图像的保真度。
• 与先前方法相比，该方法生成的样本更具多样性，这一结果通过 Inception Score 和 FID 指标得到验证。
• 重建子网络有效捕捉了类别内变化，实现了对支持图像对之间差异的准确学习。
• 生成子网络通过将学习到的样本特定差异应用于输入图像，生成了逼真且类别一致的图像。
• 消融实验证实，差异匹配损失与双子网络设计对性能提升均至关重要。