[论文解读] Less Is More: A Comprehensive Framework for the Number of Components of Ensemble Classifiers

Hamed Bonab, Fazlı Can|arXiv (Cornell University)|Sep 9, 2017

Data Stream Mining Techniques参考文献 32被引用 15

一句话总结

本文提出一种几何框架，可事先确定集成模型中组件分类器的最优数量，证明在加权多数投票（WMV）下，当组件分类器强且独立时，理想集成规模等于类别标签的数量。该框架阐明了多样性在提升准确率中的理论作用，并通过实验验证：在计算资源受限的大数据在线环境中，更小、更具多样性的集成模型可优于更大的集成模型。

ABSTRACT

The number of component classifiers chosen for an ensemble greatly impacts the prediction ability. In this paper, we use a geometric framework for a priori determining the ensemble size, which is applicable to most of existing batch and online ensemble classifiers. There are only a limited number of studies on the ensemble size examining Majority Voting (MV) and Weighted Majority Voting (WMV). Almost all of them are designed for batch-mode, hardly addressing online environments. Big data dimensions and resource limitations, in terms of time and memory, make determination of ensemble size crucial, especially for online environments. For the MV aggregation rule, our framework proves that the more strong components we add to the ensemble, the more accurate predictions we can achieve. For the WMV aggregation rule, our framework proves the existence of an ideal number of components, which is equal to the number of class labels, with the premise that components are completely independent of each other and strong enough. While giving the exact definition for a strong and independent classifier in the context of an ensemble is a challenging task, our proposed geometric framework provides a theoretical explanation of diversity and its impact on the accuracy of predictions. We conduct a series of experimental evaluations to show the practical value of our theorems and existing challenges.

研究动机与目标

• 为解决在计算和内存资源严重受限的在线和大数据环境中确定最优集成规模这一关键挑战。
• 为现有文献中关于组件分类器多样性如何提升集成准确率的理论基础提供解释，填补研究空白。
• 开发一种适用于批量和在线集成分类器的几何框架，用于事先确定组件数量。
• 通过大量实验验证：通过最优加权的更小、更具多样性的集成模型，可达到或超越更大规模集成模型的性能。
• 在真实世界和合成数据流条件下，研究集成规模、多样性与预测性能之间的关系。

提出的方法

• 作者将集成模型的投票过程建模于几何空间中，将分类器输出表示为高维空间中的向量。
• 应用线性最小二乘法（LSQ）计算投票聚合的最优组件权重，使该框架适用于批量和在线场景。
• 该框架推导出添加更多组件可提升准确率的理论条件，尤其证明在 WMV 情况下，当组件强且独立时，理想规模为 m = p（类别数）。
• 多样性通过组件预测的夹角分布进行几何形式化，更高的多样性可降低相关性并提升准确率。
• 该方法通过分析组件输出的几何特性及其向最优决策边界的收敛性，实现对集成规模的事先确定。
• 实验使用 MOA 框架在 16 个真实世界和合成数据流上进行评估，比较了不同集成规模和选择策略。

实验结果

研究问题

• RQ1 在加权多数投票（WMV）下，给定强且独立的组件分类器时，集成中组件分类器的理论最优数量是多少？
• RQ2 组件分类器之间的几何多样性如何影响集成的预测准确率？
• RQ3 能否通过一种适用于在线和批量学习的几何框架，实现对集成规模的事先确定？
• RQ4 在高速度、高容量的数据流环境中，集成规模在多大程度上影响性能？
• RQ5 在准确率和效率方面，更小、更具多样性的集成模型（若组件经过最优加权）是否优于更大的集成模型？

主要发现

• 对于加权多数投票（WMV），理论上的理想集成规模等于类别标签数（m = p），前提是组件分类器强且独立。
• 实验结果表明，LevBag-8、LevBag-16、LevBag-32、LevBag-64 和 LevBag-128 集成模型的性能相当，且显著优于更小的集成模型，表明在某一规模后收益递减。
• Sel2Div 集成模型通过选择多样化组件，其性能可与最多含 128 个组件的集成模型相媲美，证明多样性可使更少组件实现高准确率。
• Hyb-HTNB 集成模型（结合朴素贝叶斯与霍夫丁树）的性能与 LevBag-2 和 LevBag-4 相当，凸显了天然多样性对性能的显著影响。
• 在 8 个真实世界数据集中的 7 个中，峰值性能出现在理论预测的理想点 m = p 附近，支持理论预测。
• 弗里德曼检验确认性能存在显著差异（p = 0.002），平均秩显示 LevBag-16 和 LevBag-128 属于表现最佳的模型之列。