[论文解读] Why Are Conditional Generative Models Better Than Unconditional Ones?
本文提出自条件扩散模型（SCDM），通过使用自监督特征表示的聚类索引作为条件，提升了无条件扩散生成模型的性能。通过对自监督模型提取的特征进行k-means聚类，SCDM在无标签的ImageNet 64x64上实现了3.94的SOTA FID，优于所有无条件和有条件基线模型。
Extensive empirical evidence demonstrates that conditional generative models are easier to train and perform better than unconditional ones by exploiting the labels of data. So do score-based diffusion models. In this paper, we analyze the phenomenon formally and identify that the key of conditional learning is to partition the data properly. Inspired by the analyses, we propose self-conditioned diffusion models (SCDM), which is trained conditioned on indices clustered by the k-means algorithm on the features extracted by a model pre-trained in a self-supervised manner. SCDM significantly improves the unconditional model across various datasets and achieves a record-breaking FID of 3.94 on ImageNet 64x64 without labels. Besides, SCDM achieves a slightly better FID than the corresponding conditional model on CIFAR10.
研究动机与目标
- 正式分析为何条件生成模型在训练难易度和性能方面普遍优于无条件模型。
- 识别通过有意义的条件进行数据划分，是条件学习优越性的关键因素。
- 开发一种无监督方法，以生成有效条件来提升无条件生成性能。
- 在不使用标签的情况下，实现无条件图像生成的SOTA样本质量。
提出的方法
- 该方法使用自监督特征提取器（如MoCo-v2或SimCLR）从无标签数据中提取特征。
- 对自监督特征应用k-means聚类，生成作为条件的聚类索引。
- 基于得分的扩散模型在这些聚类索引上进行条件训练，形成自条件扩散模型（SCDM）。
- 条件模型通过先采样一个聚类索引，再基于该索引生成图像来生成样本。
- 该方法具有通用性，适用于任何深度生成模型，但本文特别在扩散模型上进行评估。
- 该方法通过使用从自监督表示中学习到的、语义有意义的聚类，避免依赖类别标签。
实验结果
研究问题
- RQ1为何在实践中条件生成模型通常优于无条件模型？
- RQ2条件学习相对于无条件学习具有显著优势的正式条件是什么？
- RQ3能否以无监督方式学习到有意义的条件，以提升无条件生成性能？
- RQ4自监督聚类索引能否作为有效条件，显著提升无条件扩散模型的性能？
主要发现
- 在完全无监督设置下，SCDM在ImageNet 64x64上实现了3.94的新SOTA FID，超越所有先前方法。
- 在CIFAR10上，SCDM的FID略优于使用类别标签训练的相应条件模型。
- SCDM在所有评估数据集上均一致优于无条件基线模型：CIFAR10、CelebA 64x64、LSUN Bedroom 64x64和ImageNet 64x64。
- 在原始图像像素上进行聚类会导致性能较差，因为聚类中包含多样化的物体类别，增加了分布复杂度。
- 自监督特征（如MoCo-v2或SimCLR）生成的聚类索引显著优于基于像素的聚类。
- 理论分析表明，当条件数据分布更简单时，条件模型的性能增益更大，这解释了基于聚类的条件为何有效。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。