[论文解读] Classifier Ensemble with Unlabeled Data

Min-Ling Zhang, Zhi‐Hua Zhou|arXiv (Cornell University)|Sep 19, 2009

Machine Learning and Data Classification被引用 3

一句话总结

本文提出 Sealed，一种半监督集成方法，通过联合优化基学习器在有标签数据上的准确率以及在有标签和无标签数据上的多样性，增强了基学习器之间的差异性，且无需依赖易出错的伪标签。实验表明，Sealed 能够有效利用无标签数据，并在性能上与现有的半监督集成方法相媲美。

ABSTRACT

Ensemble learning aims to improve generalization ability by using multiple base learners. It is well-known that to construct a good ensemble, the base learners should be accurate as well as diverse. In this paper, unlabeled data is exploited to facilitate ensemble learning by helping augment the diversity among the base learners. Specifically, a semi-supervised ensemble method named Sealed is proposed. Unlike existing semi-supervised ensemble methods where error-prone pseudo-labels are estimated for unlabeled data, Sealed works by maximizing accuracies of base learners on labeled data and maximizing diversity among them on labeled as well as unlabeled data. Experiments show that Sealed can effectively utilize unlabeled data for ensemble learning and is highly competitive to wellestablished semi-supervised ensemble methods. 1

研究动机与目标

• 通过增加基学习器之间的多样性来提升集成模型的泛化能力。
• 在半监督集成学习中有效利用无标签数据，且不依赖可能不准确的伪标签。
• 开发一种方法，同时优化基学习器在有标签数据上的准确率以及在有标签和无标签数据上的多样性。
• 在准确率和鲁棒性方面超越现有的半监督集成方法。

提出的方法

• Sealed 构建了一个优化目标，以最大化基学习器在有标签数据上的准确率。
• 通过在多样性度量中同时考虑有标签和无标签数据，增强基学习器之间的差异性。
• 该方法避免对无标签数据进行伪标签估计，从而降低误差传播风险。
• 采用联合优化框架，在有标签和无标签数据上平衡准确率与多样性。
• 该方法设计为与各种基学习器和集成策略兼容。

实验结果

研究问题

• RQ1 能否在不依赖伪标签的情况下有效利用无标签数据来提升集成学习中的多样性？
• RQ2 在有标签和无标签数据上联合优化准确率与多样性，如何影响集成模型的性能？
• RQ3 Sealed 是否在性能上优于使用伪标签的现有半监督集成方法？
• RQ4 引入无标签数据对集成模型泛化能力有何影响？

主要发现

• Sealed 有效利用无标签数据提升集成性能，且无需使用伪标签。
• 该方法在性能上与成熟的半监督集成方法相比具有竞争力。
• 通过在有标签和无标签数据上最大化多样性，Sealed 提升了集成模型的鲁棒性。
• 由于避免了伪标签，减少了误差传播，从而促进了更可靠的模型学习。