[论文解读] MatchingGAN: Matching-based Few-shot Image Generation

Yan Hong, Li Niu+2 more|arXiv (Cornell University)|Mar 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 4

一句话总结

MatchingGAN 提出了一种少样本图像生成框架，通过将对抗学习与匹配机制相结合，仅使用每类少量参考图像即可生成多样且逼真的图像。通过在随机向量与条件图像之间学习特征匹配的插值系数，该方法实现了无需在未见类别上微调的高质量、多样化生成。

ABSTRACT

To generate new images for a given category, most deep generative models require abundant training images from this category, which are often too expensive to acquire. To achieve the goal of generation based on only a few images, we propose matching-based Generative Adversarial Network (GAN) for few-shot generation, which includes a matching generator and a matching discriminator. Matching generator can match random vectors with a few conditional images from the same category and generate new images for this category based on the fused features. The matching discriminator extends conventional GAN discriminator by matching the feature of generated image with the fused feature of conditional images. Extensive experiments on three datasets demonstrate the effectiveness of our proposed method.

研究动机与目标

• 解决在仅有少量训练图像时，为未见类别生成逼真图像的挑战。
• 克服现有少样本图像生成方法的局限性，如图像质量低、多样性不足或依赖微调。
• 利用基于匹配的特征对齐，学习参考图像与随机噪声之间的有意义插值系数。
• 设计一种新型 GAN 架构，将匹配过程整合到生成器和判别器中，以提升特征一致性和真实感。
• 实现在未见类别上的零样本泛化，无需在测试数据上重新训练或微调。

提出的方法

• 提出一种匹配生成器，将随机向量和条件图像映射到共享特征空间，然后计算相似度得分作为插值系数，以融合特征。
• 使用一种匹配判别器，不仅区分真实与生成图像，还匹配生成图像的判别特征与条件图像融合特征。
• 通过对抗损失和特征匹配损失端到端训练生成器与判别器，其中超参数 λr 和 λm 控制重建与真实感之间的权衡。
• 为提高效率与稳定性，采用共享编码器参数（Eϕ 和 Eψ），并在编码器与解码器之间引入跳跃连接以保留多层级特征。
• 利用匹配过程学习插值权重，而非依赖随机采样，从而提升特征融合质量。
• 在推理阶段应用训练好的模型，通过向匹配生成器输入新的随机向量，为未见类别生成多样化图像。

实验结果

研究问题

• RQ1 与随机插值相比，基于匹配的机制是否能提升少样本图像生成的质量与多样性？
• RQ2 将特征匹配整合到生成器和判别器中，是否能实现生成图像与条件参考图像之间更好的对齐？
• RQ3 所提出的 MatchingGAN 是否能在不微调的情况下泛化到未见类别，仅依赖少量参考图像？
• RQ4 设计选择如跳跃连接数量和编码器共享，如何影响生成性能与多样性？
• RQ5 在少样本图像生成中，对抗损失与特征匹配损失之间的最优权衡是什么？

主要发现

• 在 VGGFace 数据集上，当 K=3 时，MatchingGAN 的测试准确率达到 40.95%，优于随机系数基线（38.12%），证明了学习插值的优势。
• 当特征匹配损失权重 λm=0 时，性能显著下降，FID 从 108.56 上升至 111.40，IS 从 8.32 降至 7.56，证明了特征匹配的重要性。
• 使用三个跳跃连接可提升 IS（9.14）并降低 FID（106.12），但会损害低数据分类准确率（34.12%），表明真实感与多样性之间存在权衡。
• 采用共享编码器（Eϕ 和 Eψ）的模型达到 40.95% 的准确率，而独立编码器仅获得 40.98% 的准确率（FID 略优，为 107.98），表明增加参数量带来的收益微乎其微。
• 消融实验确认，λr=0.1 在重建与对抗损失之间提供了最佳平衡，而 λr=1.0 和 λr=10.0 在所有指标上均表现更差。
• 在 Omniglot、EMNIST 和 VGGFace 上的定性结果表明，即使对于未见类别，生成图像也具有多样性、逼真性，并与参考图像在语义上保持一致。