[论文解读] A New Fuzzy Stacked Generalization Technique for Deep learning and Analysis of its Performance

Mete Özay, Fatoş T. Yarman-Vural|arXiv (Cornell University)|Apr 3, 2012

Face and Expression Recognition参考文献 24被引用 4

一句话总结

本文提出了一种新型集成技术——模糊堆叠泛化（Fuzzy Stacked Generalization, FSG），通过将多个在不同特征子集上训练的模糊k-NN分类器的模糊隶属度输出通过元学习器融合，从而提升最近邻分类器的性能。FSG有效缩小了小样本与大样本分类误差之间的差距，在多特征真实世界数据集上优于AdaBoost、Random Subspace和Rotation Forest等先进方法。

ABSTRACT

In this study, a new Stacked Generalization technique called Fuzzy Stacked Generalization (FSG) is proposed to minimize the difference between N -sample and large-sample classification error of the Nearest Neighbor classifier. The proposed FSG employs a new hierarchical distance learning strategy to minimize the error difference. For this purpose, we first construct an ensemble of base-layer fuzzy k- Nearest Neighbor (k-NN) classifiers, each of which receives a different feature set extracted from the same sample set. The fuzzy membership values computed at the decision space of each fuzzy k-NN classifier are concatenated to form the feature vectors of a fusion space. Finally, the feature vectors are fed to a meta-layer classifier to learn the degree of accuracy of the decisions of the base-layer classifiers for meta-layer classification. Rather than the power of the individual base layer-classifiers, diversity and cooperation of the classifiers become an important issue to improve the overall performance of the proposed FSG. A weak base-layer classifier may boost the overall performance more than a strong classifier, if it is capable of recognizing the samples, which are not recognized by the rest of the classifiers, in its own feature space. The experiments explore the type of the collaboration among the individual classifiers required for an improved performance of the suggested architecture. Experiments on multiple feature real-world datasets show that the proposed FSG performs better than the state of the art ensemble learning algorithms such as Adaboost, Random Subspace and Rotation Forest. On the other hand, compatible performances are observed in the experiments on single feature multi-attribute datasets.

研究动机与目标

• 解决最近邻分类器在小样本与大样本分类误差之间的性能差距问题。
• 通过利用基分类器之间的多样性与协作来提升泛化能力，而非仅依赖单个分类器的强度。
• 设计一种分层距离学习策略，以最小化分类性能中的误差差异。
• 构建一种元学习框架，以评估基分类器决策的可靠性，从而提升集成分类的准确性。
• 探究基分类器之间最优的合作模式，以最大化整体性能。

提出的方法

• 构建一个基分类器层，其中每个基分类器均在从同一数据集中提取的不同特征子集上进行训练。
• 在每个模糊k-NN分类器的决策空间中计算模糊隶属度值，以表示分类置信度。
• 将所有基分类器的模糊隶属度向量拼接，形成融合空间中的特征向量。
• 在融合后的特征向量上训练元分类器，以学习每个基分类器决策的准确度。
• 采用分层距离学习策略优化融合过程，减少N样本与大样本误差率之间的差异。
• 利用元学习器根据基分类器在特征空间不同区域的可靠性，动态加权并组合其输出。

实验结果

研究问题

• RQ1 如何在最近邻分类器中最小化小样本与大样本分类误差之间的性能差距？
• RQ2 在所提出的FSG框架中，基分类器之间何种协作模式能带来更好的集成性能？
• RQ3 元学习器能否有效评估并利用基分类器决策的可靠性，以提升整体准确性？
• RQ4 所提出的FSG在多特征数据集上与AdaBoost、Random Subspace和Rotation Forest等成熟集成方法相比表现如何？
• RQ5 在FSG架构中，弱基分类器在何种条件下比强基分类器对整体性能的贡献更大？

主要发现

• FSG在多特征真实世界数据集上显著优于AdaBoost、Random Subspace和Rotation Forest等最先进的集成学习算法。
• 通过有效的分层距离学习与元级融合，所提出的方法显著减小了N样本与大样本分类误差之间的差异。
• 基分类器之间的多样性与协作比单个分类器的强度对性能提升更为关键。
• 若弱基分类器在其独特的特征空间中捕获了其他分类器误分类的样本，则可提升整体性能。
• 在单特征、多属性数据集上观察到兼容的性能水平，表明该方法在不同数据复杂度下均具有鲁棒性。
• 元学习器能有效学习基分类器决策的准确度，从而实现可靠集成输出的生成。