[论文解读] A bagging SVM to learn from positive and unlabeled examples

Fantine Mordelet, Jean‐Philippe Vert|arXiv (Cornell University)|Oct 5, 2010

Machine Learning and Data Classification参考文献 19被引用 8

一句话总结

本文提出了一种新型的袋装SVM（bagging SVM）方法，用于正例-未标记（PU）学习，通过在未标记数据的随机子样本上训练多个SVM来提升分类器的鲁棒性。该方法在性能上优于或匹配现有PU方法，且显著更快，尤其当未标记样本数量远超正例样本时优势更明显。

ABSTRACT

We consider the problem of learning a binary classifier from a training set of positive and unlabeled examples, both in the inductive and in the transductive setting. This problem, often referred to as \emph{PU learning}, differs from the standard supervised classification problem by the lack of negative examples in the training set. It corresponds to an ubiquitous situation in many applications such as information retrieval or gene ranking, when we have identified a set of data of interest sharing a particular property, and we wish to automatically retrieve additional data sharing the same property among a large and easily available pool of unlabeled data. We propose a conceptually simple method, akin to bagging, to approach both inductive and transductive PU learning problems, by converting them into series of supervised binary classification problems discriminating the known positive examples from random subsamples of the unlabeled set. We empirically demonstrate the relevance of the method on simulated and real data, where it performs at least as well as existing methods while being faster.

研究动机与目标

• 解决仅能获取正例和未标记样本时学习二分类器的挑战，这一场景在信息检索和基因排序中十分常见。
• 通过利用集成技术，克服标准PU学习方法因未标记数据中污染率变化而导致的不稳定性。
• 开发一种计算高效的有偏SVM替代方法，保持高性能的同时减少训练时间。
• 在模拟数据和真实数据集上，于归纳设置和直推设置下评估该方法，以验证其鲁棒性和可扩展性。

提出的方法

• 提出一种类似袋装的框架，其中多个SVM被训练以区分已知正例与未标记集的随机子样本。
• 通过控制未标记子样本的大小（K）来平衡单个分类器的偏差与方差，K = |P| 作为默认选择。
• 通过聚合T个独立SVM的预测结果形成最终评分函数，提升稳定性和泛化能力。
• 通过仅在未标记集上限制预测结果，将该方法适配到直推式PU学习。
• 采用对称袋装策略，其中每个基分类器均在正例的平衡子集和未标记数据的随机子样本上进行训练。
• 该方法避免了迭代重加权或复杂优化的需要，转而依赖于基模型的简单集成平均。

实验结果

研究问题

• RQ1 通过袋装进行集成学习是否能在非渐近设置下提升PU学习的稳定性和性能？
• RQ2 随机未标记子样本的大小（K）如何影响最终分类器的性能和计算成本？
• RQ3 袋装SVM在准确率和速度方面是否优于或匹配最先进的PU学习方法（如有偏SVM）？
• RQ4 在仅有少量正例可用时，PU学习在何种情况下优于一类SVM？
• RQ5 在什么条件下袋装SVM相比有偏SVM显著更快，尤其是当 |U| >> |P| 时？

主要发现

• 在模拟数据上，袋装SVM的性能与有偏SVM相当或更优，而在真实数据集上无显著差异。
• 在20 Newsgroups数据集上，当T=35且K=10时，袋装SVM的AUC为0.921，AUP为0.531；而有偏SVM在227秒内达到AUC=0.932，AUP=0.491。
• 当T=200且K=200时，袋装SVM耗时473秒，而有偏SVM仅需227秒，表明当 |U|/|P| > 6 时袋装SVM更快。
• 该方法对K的变化具有鲁棒性，K = |P| 成为一种安全的默认选择，可在性能与计算负载之间实现良好平衡。
• 当正例少于10个时，一类SVM在20 Newsgroups基准测试中优于PU方法，表明PU学习并非在所有情况下都更优。
• 袋装SVM的计算优势随 |U|/|P| 比值增大而增强，使其在未标记数据远多于正例的大规模应用中尤为高效。