[论文解读] Image Synthesis under Limited Data: A Survey and Taxonomy

Mengping Yang, Zhe Wang|arXiv (Cornell University)|Jul 31, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本综述提出了一套全面的分类体系与系统性回顾，针对数据有限条件下的图像合成问题，将方法分类为四项任务：数据高效生成模型、少样本生成适应、少样本图像生成与单样本图像合成。该综述分析了现有方法、基准测试、局限性及未来方向，为在少量或零训练样本条件下工作的研究人员提供了统一的问题定义与可操作的见解。

ABSTRACT

Deep generative models, which target reproducing the given data distribution to produce novel samples, have made unprecedented advancements in recent years. Their technical breakthroughs have enabled unparalleled quality in the synthesis of visual content. However, one critical prerequisite for their tremendous success is the availability of a sufficient number of training samples, which requires massive computation resources. When trained on limited data, generative models tend to suffer from severe performance deterioration due to overfitting and memorization. Accordingly, researchers have devoted considerable attention to develop novel models that are capable of generating plausible and diverse images from limited training data recently. Despite numerous efforts to enhance training stability and synthesis quality in the limited data scenarios, there is a lack of a systematic survey that provides 1) a clear problem definition, critical challenges, and taxonomy of various tasks; 2) an in-depth analysis on the pros, cons, and remain limitations of existing literature; as well as 3) a thorough discussion on the potential applications and future directions in the field of image synthesis under limited data. In order to fill this gap and provide a informative introduction to researchers who are new to this topic, this survey offers a comprehensive review and a novel taxonomy on the development of image synthesis under limited data. In particular, it covers the problem definition, requirements, main solutions, popular benchmarks, and remain challenges in a comprehensive and all-around manner.

研究动机与目标

• 为数据有限条件下的图像合成建立清晰、统一的问题定义，以解决现有文献中不一致的问题。
• 提出一种新颖的分类体系，系统性地将现有方法划分为四个子任务：数据高效生成模型、少样本生成适应、少样本图像生成与单样本图像合成。
• 全面回顾技术解决方案，包括网络架构、数据增强、正则化方法与训练策略，并分析其优势与局限性。
• 识别开放性挑战，如评估指标的可靠性、训练稳定性，以及生成建模与表征学习的整合。
• 通过突出实际应用场景与未来研究方向，为少样本与单样本图像生成的研究人员提供指导。

提出的方法

• 提出四层分类体系，用于对数据有限条件下的图像合成方法进行分类：数据高效生成模型、少样本生成适应、少样本图像生成与单样本图像合成。
• 回顾并分析多样化的技术解决方案，包括数据增强、架构创新（如元学习、注意力机制）以及正则化技术，以缓解过拟合与记忆化问题。
• 评估现有基准测试，如 CUB-200-2011、CARS 与 FFHQ-Few-Shot，评估其在少样本与单样本设置下的适用性。
• 讨论预训练模型（尤其是扩散模型与文本到图像扩散模型，如 Stable Diffusion）在实现高保真度少样本生成中的作用。
• 探讨生成建模与表征学习之间的相互作用，提出统一框架作为未来有前景的方向。
• 强调需要改进评估指标，包括引入主观人类感知研究，以更好地与有限数据场景下的人类判断保持一致。

实验结果

研究问题

• RQ1 在有限数据上训练深度生成模型时，主要挑战是什么，特别是过拟合与记忆化问题？
• RQ2 如何建立统一的分类体系，以明确区分相关但不同的任务，如少样本图像生成与少样本生成适应？
• RQ3 在少样本与单样本图像合成中，哪些架构、数据与训练策略最有效，可提升样本多样性与生成质量？
• RQ4 如何改进评估指标，使其更能反映低数据场景下的人类感知与泛化能力？
• RQ5 在数据稀缺场景下，生成建模与表征学习的整合存在哪些机会，可提升性能？

主要发现

• 本综述识别出有限数据图像合成中的四项独立子任务：数据高效生成模型、少样本生成适应、少样本图像生成与单样本图像合成，每一项均有其独特需求与评估设置。
• 尽管已有进展，过拟合与记忆化仍是主要挑战，尤其在单样本设置中，仅凭单一示例进行训练时尤为明显。
• 扩散模型在有限数据场景下展现出提升训练稳定性的潜力，但其在少样本场景下的性能仍缺乏充分探索，需进一步研究。
• 现有评估指标往往与人类视觉判断的相关性较差，凸显了开发与感知对齐的新指标的必要性，以及引入主观评估方法的迫切需求。
• 将生成建模与表征学习相结合是一条极具前景的方向，因其有望在低数据设置下实现生成能力与判别能力的相互增强。
• 仅使用少量输入图像（如宠物肖像）进行个性化图像生成，是实际且日益增长的应用，但当前方法在生成质量与推理速度方面仍存在局限。