[论文解读] Mining Multi-Label Samples from Single Positive Labels

Youngin Cho, Daejin Kim+2 more|arXiv (Cornell University)|Jun 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出S2M采样，一种基于马尔可夫链蒙特卡洛（MCMC）的新方法，使条件生成对抗网络（conditional GANs）能够从单个正样本标签（即每张样本仅提供一个标签）生成高质量的多标签图像，而无需付出高昂的多标签标注成本。该方法在下游分类和FID指标上表现与在完全标注数据集上训练的模型相当，甚至更优。

ABSTRACT

Conditional generative adversarial networks (cGANs) have shown superior results in class-conditional generation tasks. To simultaneously control multiple conditions, cGANs require multi-label training datasets, where multiple labels can be assigned to each data instance. Nevertheless, the tremendous annotation cost limits the accessibility of multi-label datasets in real-world scenarios. Therefore, in this study we explore the practical setting called the single positive setting, where each data instance is annotated by only one positive label with no explicit negative labels. To generate multi-label data in the single positive setting, we propose a novel sampling approach called single-to-multi-label (S2M) sampling, based on the Markov chain Monte Carlo method. As a widely applicable "add-on" method, our proposed S2M sampling method enables existing unconditional and conditional GANs to draw high-quality multi-label data with a minimal annotation cost. Extensive experiments on real image datasets verify the effectiveness and correctness of our method, even when compared to a model trained with fully annotated datasets.

研究动机与目标

• 解决为条件图像生成构建多标签数据集所带来的高昂标注成本问题。
• 在每张样本仅提供单个正样本标签的条件下，实现多标签数据的生成。
• 在生成重叠与非重叠联合类别时，保持图像质量和样本多样性。
• 开发一种即插即用的采样框架，兼容现有的无条件和条件GAN。
• 在无需显式负样本标签或复杂模型微调的情况下，建模类别之间的内在关系。

提出的方法

• 提出一种单标签到多标签（S2M）采样框架，利用马尔可夫链蒙特卡洛（MCMC）从联合类别分布中采样。
• 通过多个分类网络估计联合类别的条件密度，以近似目标分布。
• 应用独立的梅特罗波利斯-黑斯廷斯算法，结合生成器输出与分类器得分，从联合类别分布中生成样本。
• 采用潜在空间自适应方法，提升高维数据空间中的采样效率与收敛速度。
• 在推理阶段集成采样过程，保持原始GAN的架构与目标不变。
• 提出一种可计算的密度比估计方法，用于计算 $ p_t(x)/p_G(x) $，以支持MCMC的接受决策。

实验结果

研究问题

• RQ1 在不使用显式负样本标签的情况下，能否有效从单个正样本标签设置中生成多标签样本？
• RQ2 如何仅通过每实例一个正样本标签，准确采样重叠与非重叠的联合类别？
• RQ3 后处理采样方法能否实现与在完全标注多标签数据集上训练的模型相当的性能？
• RQ4 所提出的S2M采样框架是否能在保持高图像质量的同时，实现多样化、属性组合的生成？
• RQ5 该方法在不同数据集和属性组合下，是否具有良好的可扩展性，且仅需极少的超参数调优？

主要发现

• 在CelebA-BBM上，S2M采样达到74.97%的准确率，在CelebA-HBW上达到70.94%，显著优于基线StyleGANv2（分别为18.41%和12.68%），在生成联合类别样本时表现更优。
• FID分数在CelebA-BBM上从15.57降至14.41，在CelebA-HBW上从15.80降至14.54，表明生成样本质量更高。
• 定性结果表明，所有联合类别（包括复杂组合如“棕色头发、浓密眉毛、嘴角微张”）均生成了多样化且逼真的样本。
• 该方法仅使用单个正样本标签，成功生成了重叠类别（如A ∩ B）与非重叠类别（如A \\( B)）的样本。
• S2M采样在多种数据集（MNIST、CIFAR-10、CelebA）上均表现有效，且可作为即插即用模块与现有GAN集成，无需修改架构或目标函数。
• 独立梅特罗波利斯-黑斯廷斯变体在稳定性与样本质量方面优于拒绝采样和拉普拉斯动力学，尤其在高维空间中表现更优。