[论文解读] Adversarial Partial Multi-Label Learning

Yan Yan, Yuhong Guo|arXiv (Cornell University)|Sep 15, 2019

Text and Document Classification Technologies参考文献 31被引用 7

一句话总结

该论文提出PML-GAN，一种用于部分多标签学习的新型生成对抗网络框架，通过双向编码器-解码器结构联合消除噪声标签并预测真实标签。通过集成消歧网络、多标签预测器和基于GAN的逆映射，该模型在合成数据集和真实世界PML数据集上通过对抗性训练实现了最先进性能，增强了特征与标签之间的对应关系。

ABSTRACT

Partial multi-label learning (PML), which tackles the problem of learning multi-label prediction models from instances with overcomplete noisy annotations, has recently started gaining attention from the research community. In this paper, we propose a novel adversarial learning model, PML-GAN, under a generalized encoder-decoder framework for partial multi-label learning. The PML-GAN model uses a disambiguation network to identify noisy labels and uses a multi-label prediction network to map the training instances to the disambiguated label vectors, while deploying a generative adversarial network as an inverse mapping from label vectors to data samples in the input feature space. The learning of the overall model corresponds to a minimax adversarial game, which enhances the correspondence of input features with the output labels in a bi-directional mapping. Extensive experiments are conducted on multiple datasets, while the proposed model demonstrates the state-of-the-art performance for partial multi-label learning.

研究动机与目标

• 解决训练样本被标注为过完备、含噪声标签集时的多标签学习挑战。
• 开发一个统一框架，同时识别无关标签并从噪声标注中预测真实多标签输出。
• 克服先前方法依赖置信度评分或迭代传播所导致的误差累积问题。
• 利用对抗性训练强化输入特征与消歧后标签向量之间的对应关系。
• 通过建模特征与标签之间的前向和逆向映射，在部分多标签学习中实现最先进性能。

提出的方法

• 提出四网络架构：消歧网络、多标签预测网络、生成器和判别器，构成广义的编码器-解码器框架。
• 利用消歧网络估计每个候选标签为噪声的概率，实现标签过滤。
• 训练预测网络将输入特征映射到消歧后的标签向量，提升多标签分类性能。
• 采用生成对抗网络（GAN）学习从标签向量到输入特征空间的逆映射。
• 通过最小-最大对抗博弈联合训练编码器（消歧 + 预测）和解码器（生成器 + 判别器）。
• 使用结合分类损失、对抗损失和生成损失的联合损失函数，以稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 生成对抗网络框架能否有效实现部分多标签学习中噪声标签的消歧？
• RQ2 通过编码器-解码器结构实现的双向特征-标签映射如何提升多标签预测性能？
• RQ3 对抗性训练与生成重建在标签消歧和预测中的相对贡献是什么？
• RQ4 所提出的模型能否超越依赖置信度估计或迭代标签传播的现有PML方法？
• RQ5 在统一对抗框架中整合消歧与预测是否相比两阶段方法更有效减少误差累积？

主要发现

• PML-GAN在多个合成与真实世界部分多标签学习数据集上均达到最先进性能，在平均精确率与一错误率指标上均优于现有方法。
• 消融实验表明，对抗损失与生成损失均至关重要：移除任一损失均导致性能显著下降。
• 仅使用分类损失的变体（CLS-ML）仍表现良好，表明联合消歧与预测网络设计的有效性。
• 在Delicious数据集上，PML-GAN实现平均精确率0.620 ± 0.002与一错误率0.386 ± 0.003，优于所有基线模型。
• 在EURLEX-DC数据集上，PML-GAN实现平均精确率0.779 ± 0.015与一错误率0.315 ± 0.021，展现出在大规模多标签数据上的强鲁棒性。
• 该模型在高噪声标签比例设置下持续优于先前方法，如PML-FP、PML-LC及两阶段标签传播方法。