[论文解读] Pooling homogeneous ensembles to build heterogeneous ones

Maryam Sabzevari, Gonzalo Martínez-Muñoz+1 more|arXiv (Cornell University)|Feb 21, 2018

Neural Networks and Applications被引用 4

一句话总结

本文提出一种新颖方法，通过基于单纯形的连续组合策略，整合不同类型的预训练同质集成（如SVM、MLP和随机森林），构建异质集成。通过在袋外验证或交叉验证中优化各类同质集成的分类器比例，该方法在多种数据集上均表现出一致优越的性能，准确率和鲁棒性均优于单一同质集成及现有异质组合方法。

ABSTRACT

In ensemble methods, the outputs of a collection of diverse classifiers are combined in the expectation that the global prediction be more accurate than the individual ones. Heterogeneous ensembles consist of predictors of different types, which are likely to have different biases. If these biases are complementary, the combination of their decisions is beneficial. In this work, a family of heterogeneous ensembles is built by pooling classifiers from M homogeneous ensembles of different types of size T. Depending on the fraction of base classifiers of each type, a particular heterogeneous combination in this family is represented by a point in a regular simplex in M dimensions. The M vertices of this simplex represent the different homogeneous ensembles. A displacement away from one of these vertices effects a smooth transformation of the corresponding homogeneous ensemble into a heterogeneous one. The optimal composition of such heterogeneous ensemble can be determined using cross-validation or, if bootstrap samples are used to build the individual classifiers, out-of-bag data. An empirical analysis of such combinations of bootstraped ensembles composed of neural networks, SVMs, and random trees (i.e. from a standard random forest) illustrates the gains that can be achieved by this heterogeneous ensemble creation method.

研究动机与目标

• 为解决利用预存在的同质集成中多样化基分类器构建高效异质集成的挑战。
• 开发一种连续的、参数化的框架，通过M维正单纯形（M为分类器类型数）组合异质集成。
• 利用袋外数据或交叉验证，确定异质集成的最佳组成——即各类分类器的理想比例。
• 通过实证验证，该组合策略在多种基准数据集上始终优于单一同质集成及现有异质集成方法。
• 证明该方法在广泛基准数据集上实现了预测准确率的统计显著提升。

提出的方法

• 使用不同分类器类型（如SVM、MLP、随机森林）构建M个同质集成，每个均通过自助采样训练以确保多样性。
• 通过将这些M个同质集成中的分类器组合，形成异质集成，其组成由M维正单纯形中的一个点定义。
• 单纯形的每个顶点对应一个同质集成，其内部位置决定最终集成中各类分类器的比例。
• 当使用自助采样时，通过袋外（OOB）误差率估计最优组成；在适用情况下，采用交叉验证。
• 最终的异质集成通过加权平均组合预测结果，权重由OOB或交叉验证找到的最优组成确定。
• 该方法支持在同质集成之间平滑插值，并允许系统性探索异质配置。

实验结果

研究问题

• RQ1 能否通过组合预存在的不同类型同质集成，构建一个连续的异质集成族？
• RQ2 异质集成的最佳组成——即各类分类器的比例——在不同学习问题中是否显著不同？
• RQ3 袋外误差估计能否提供一种可靠且高效的异质集成最优组成确定方法？
• RQ4 所提方法是否在多种数据集上始终优于单一同质集成（如随机森林、MLP集成、SVM集成）？
• RQ5 与现有集成方法相比，所提异质集成的性能提升是否具有统计显著性？

主要发现

• 在全部17个基准数据集上，该方法均取得最佳或第二好的性能，优于单一同质集成及现有异质组合方法。
• 平均而言，该方法的测试误差低于随机森林（RF）、MLP集成（E-MLP）和SVM集成（E-SVM），且在RF和E-MLP上具有统计显著优势（p < 0.05）。
• 异质集成的最佳组成高度依赖于具体问题，各类分类器比例在不同数据集中显著变化——例如，在Bupa数据集上随机树占比63.0%，在Colic数据集上达91.9%。
• 在Demšar检验中，该方法平均排名为1.55，优于E-MLP（平均排名1.50），仅次于E-SVM（平均排名1.41），但与E-SVM的差异无统计显著性。
• 在Ringnorm数据集上，该方法测试误差为1.6% ± 0.4%，显著低于E-MLP（16.4% ± 1.5%）和E-SVM（1.7% ± 0.5%），表明其在复杂非线性问题上表现强劲。
• 该方法在所有数据集上均一致降低误差率，最佳配置通过OOB验证确定，证实了优化策略的有效性。