[论文解读] Learning from Label Proportions with Generative Adversarial Networks

Jiabin Liu, Bo Wang+3 more|arXiv (Cornell University)|Sep 5, 2019

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出LLP-GAN，一种用于从标签比例（LLP）学习的生成对抗网络框架，无需严格的分布假设。通过利用判别器对真实样本和生成的虚假样本进行分类的对抗训练，LLP-GAN端到端地学习一个鲁棒的实例级分类器，在基准数据集上实现了最先进性能，计算复杂度低，并在温和假设下具备全局最优性。

ABSTRACT

In this paper, we leverage generative adversarial networks (GANs) to derive an effective algorithm LLP-GAN for learning from label proportions (LLP), where only the bag-level proportional information in labels is available. Endowed with end-to-end structure, LLP-GAN performs approximation in the light of an adversarial learning mechanism, without imposing restricted assumptions on distribution. Accordingly, we can directly induce the final instance-level classifier upon the discriminator. Under mild assumptions, we give the explicit generative representation and prove the global optimality for LLP-GAN. Additionally, compared with existing methods, our work empowers LLP solver with capable scalability inheriting from deep models. Several experiments on benchmark datasets demonstrate vivid advantages of the proposed approach.

研究动机与目标

• 为解决仅从袋级别标签比例学习实例级分类器的挑战，这是一种全实例标签不可用的弱监督设置。
• 克服先前LLP方法的局限性，如严格的分布假设和NP难优化带来的可扩展性问题。
• 利用深度网络的表征能力和对抗训练，提升LLP设置下的泛化能力和鲁棒性。
• 为所提方法建立理论保证，包括全局最优性和在温和假设下的显式生成表示。
• 在大规模基准数据集上展示方法的可扩展性与相对于现有最先进方法的性能优势。

提出的方法

• LLP-GAN采用GAN框架，其中生成器合成虚假样本，用于训练判别器以区分真实样本与生成样本。
• 判别器被训练以将真实样本分类为K个类别，并将虚假样本识别为第(K+1)类，从而实现最终分类器的端到端学习。
• 推导出判别器损失的下界，通过分解表示将先验类别比例与后验类别似然联系起来。
• 生成器通过对抗训练学习底层数据分布，无需假设袋为独立同分布，从而增强灵活性和泛化能力。
• 框架整合了一个11路Softmax过参数化的分类头，并使用全局平均池化和1×1卷积进行特征精炼。
• 该方法避免显式变分推断或似然最大化，转而依赖生成器与判别器之间的对抗平衡。

实验结果

研究问题

• RQ1 基于GAN的框架能否在无需强分布假设的情况下，仅从标签比例中有效学习实例级分类器？
• RQ2 LLP-GAN中的对抗训练机制如何在LLP设置下确保全局最优性和稳定收敛？
• RQ3 判别器输出中，先验标签比例与后验类别似然之间存在何种关系？
• RQ4 LLP-GAN在大规模数据集上与现有深度和浅层LLP方法相比，在性能和可扩展性方面表现如何？
• RQ5 在随机袋分配和不同袋大小条件下，该方法在多大程度上保持鲁棒性？

主要发现

• LLP-GAN在MNIST、CIFAR-10、SVHN和CIFAR-100上均实现最先进性能，MNIST二分类任务下测试误差率低至0.047%。
• 在CIFAR-10上，LLP-GAN将测试误差从DLLP的22.59%降低至1.61%（在较大袋尺寸下），展现出卓越的可扩展性和鲁棒性。
• 该方法在多次随机袋分配下保持高度稳定，MNIST上的准确率仅在98.94%至96.65%之间波动，变化幅度仅为0.4%。
• LLP-GAN在温和假设下实现全局最优性，其类别似然的理论基础分解以先验比例为条件。
• 为DLLP添加熵正则化被证明是冗余的，因为DLLP本身已实现低实例级熵，表明基线方法具有固有稳定性。
• 该框架计算复杂度低且具备强可扩展性，优于SVM-based方法如InvCal和alter-∝ SVM，后者因NP难优化而受限。