[论文解读] A New Fuzzy Stacked Generalization Technique and Analysis of its Performance

Mete Özay, Fatoş T. Yarman Vural|arXiv (Cornell University)|Apr 1, 2012

Face and Expression Recognition参考文献 59被引用 32

一句话总结

本文提出了一种新型集成学习技术——模糊堆叠泛化（Fuzzy Stacked Generalization, FSG），通过在不同特征子集上组合多个模糊k-NN分类器，增强最近邻分类器的性能。通过元学习器融合其模糊隶属度输出，FSG有效降低了小样本与大样本误差率之间的差异，在多特征真实世界数据集上优于AdaBoost、Random Subspace和Rotation Forest等最先进方法。

ABSTRACT

In this study, a new Stacked Generalization technique called Fuzzy Stacked Generalization (FSG) is proposed to minimize the difference between N -sample and large-sample classification error of the Nearest Neighbor classifier. The proposed FSG employs a new hierarchical distance learning strategy to minimize the error difference. For this purpose, we first construct an ensemble of base-layer fuzzy k- Nearest Neighbor (k-NN) classifiers, each of which receives a different feature set extracted from the same sample set. The fuzzy membership values computed at the decision space of each fuzzy k-NN classifier are concatenated to form the feature vectors of a fusion space. Finally, the feature vectors are fed to a meta-layer classifier to learn the degree of accuracy of the decisions of the base-layer classifiers for meta-layer classification. Rather than the power of the individual base layer-classifiers, diversity and cooperation of the classifiers become an important issue to improve the overall performance of the proposed FSG. A weak base-layer classifier may boost the overall performance more than a strong classifier, if it is capable of recognizing the samples, which are not recognized by the rest of the classifiers, in its own feature space. The experiments explore the type of the collaboration among the individual classifiers required for an improved performance of the suggested architecture. Experiments on multiple feature real-world datasets show that the proposed FSG performs better than the state of the art ensemble learning algorithms such as Adaboost, Random Subspace and Rotation Forest. On the other hand, compatible performances are observed in the experiments on single feature multi-attribute datasets.

研究动机与目标

• 解决最近邻分类器在小样本与大样本误差率之间存在的性能差距。
• 通过利用弱基分类器之间的多样性与协作，而非依赖强个体模型，提升分类准确率。
• 设计一种分层距离学习策略，以最小化不同样本规模下的误差差异。
• 构建一种元学习框架，用于评估基分类器决策的可靠性，从而提升集成模型的泛化能力。
• 在多特征真实世界数据集上，证明FSG优于现有集成技术。

提出的方法

• 构建一个基分类器层，其中每个基分类器均在来自同一数据集的不同特征子集上进行训练。
• 为每个基分类器在决策空间中计算每个样本的模糊隶属度值，以表示分类置信度。
• 将所有基分类器的模糊隶属度向量连接起来，形成统一的融合空间，表示集体分类器输出。
• 在融合空间上训练一个元分类器，以学习每个基分类器决策的准确度，从而提升最终预测性能。
• 采用分层距离学习策略优化融合过程，最小化N样本与大样本误差率之间的差异。
• 优先考虑分类器的多样性与协作，而非单个分类器的强度，使弱但互补的分类器能够共同提升整体性能。

实验结果

研究问题

• RQ1 基于模糊k-NN分类器的堆叠泛化框架，能否有效降低最近邻分类中N样本与大样本误差率之间的差异？
• RQ2 在所提出的FSG架构中，基分类器之间何种协作模式能实现最优性能？
• RQ3 在多特征真实世界数据集上，FSG与AdaBoost、Random Subspace和Rotation Forest等成熟集成方法相比，性能如何？
• RQ4 相较于基分类器的个体强度，分类器多样性在FSG框架中对泛化性能的提升作用有多大？
• RQ5 元学习器能否有效评估并利用基分类器决策的可靠性，从而提升最终分类准确率？

主要发现

• 通过分层距离学习与模糊融合，FSG显著降低了最近邻分类器在N样本与大样本误差率之间的差异。
• 所提方法在多个多特征真实世界数据集上优于最先进的集成算法，包括AdaBoost、Random Subspace和Rotation Forest。
• 在单特征多属性数据集上，FSG性能与现有方法相当，表明其在不同类型数据上的鲁棒性。
• 若弱基分类器能识别其他分类器遗漏的样本，则其对整体性能的贡献可能超过更强的分类器，凸显多样性的重要性。
• 元学习器评估决策可靠性的能力显著提升了泛化性能，尤其在基分类器具有多样性和互补性时更为明显。
• 实证结果证实，基分类器之间的协作与多样性对性能的提升作用，远超过单个基模型的强度。