[论文解读] Aggregation of Classifiers: A Justifiable Information Granularity Approach

Tien Thanh Nguyen, Xuan Cuong Pham+2 more|arXiv (Cornell University)|Mar 15, 2017

Rough Sets and Fuzzy Logic参考文献 34被引用 4

一句话总结

本文提出了一种新颖的集成学习方法，利用区间值信息粒来聚合异质分类器，通过区间隶属度的上下界而非固定数值来建模不确定性和多样性。该方法在UCI数据集上提升了分类性能，优于AdaBoost、Bagging以及多种固定/学习型组合规则，通过在决策中引入粒化不确定性实现。

ABSTRACT

In this study, we introduce a new approach to combine multi-classifiers in an ensemble system. Instead of using numeric membership values encountered in fixed combining rules, we construct interval membership values associated with each class prediction at the level of meta-data of observation by using concepts of information granules. In the proposed method, uncertainty (diversity) of findings produced by the base classifiers is quantified by interval-based information granules. The discriminative decision model is generated by considering both the bounds and the length of the obtained intervals. We select ten and then fifteen learning algorithms to build a heterogeneous ensemble system and then conducted the experiment on a number of UCI datasets. The experimental results demonstrate that the proposed approach performs better than the benchmark algorithms including six fixed combining methods, one trainable combining method, AdaBoost, Bagging, and Random Subspace.

研究动机与目标

• 解决集成学习中固定组合规则的局限性，这些规则忽略了基分类器之间的不确定性和多样性。
• 使用表示为区间的区间信息粒来建模分类器的不确定性和多样性，而非精确的隶属度值。
• 开发一种判别性决策模型，同时考虑区间上下界和区间长度，以提升分类准确率。
• 在使用多种学习算法的异质集成系统上，对所提方法进行评估，数据集为标准UCI数据集。
• 与已建立的集成方法（如AdaBoost、Bagging和随机子空间）相比，展示出更优的性能。

提出的方法

• 使用信息粒理论为每个类别预测构建区间隶属度值，以表示来自基分类器的不确定性和多样性。
• 将区间的下界和上界以及区间长度作为判别性决策模型中的特征。
• 采用元学习方法，其中最终决策基于基于区间的粒化表示，而非数值分数。
• 选择10种，随后选择15种不同的学习算法，以构建异质集成系统，实现稳健评估。
• 在多个UCI基准数据集上训练和测试集成系统，以评估泛化能力和性能表现。
• 将基于区间的聚合方法与六种固定组合规则、一种可训练方法、AdaBoost、Bagging和随机子空间进行比较。

实验结果

研究问题

• RQ1 区间值信息粒能否有效表示集成系统中基分类器之间的不确定性和多样性？
• RQ2 在决策模型中引入区间边界和区间长度，是否能提升分类性能，超越传统聚合方法？
• RQ3 所提出的粒化聚合方法与AdaBoost和Bagging等成熟集成技术相比，在多样化数据集上的表现如何？
• RQ4 使用异质基学习器在多大程度上增强了基于区间的集成系统的鲁棒性和准确性？
• RQ5 与固定或学习型数值组合规则相比，所提方法在不确定性建模方面是否更具合理性？

主要发现

• 所提出的基于区间的聚合方法在测试的UCI数据集上，分类准确率优于六种固定组合规则。
• 该方法优于可训练组合方法，表明粒化不确定性建模比学习到的数值权重为集成决策提供了更有效的基础。
• 使用15种不同基学习器的异质集成系统，其性能始终优于简单的集成配置。
• 将区间长度作为判别性特征，显著改善了决策边界和泛化能力。
• 该方法在多个数据集上表现出鲁棒性，相较于AdaBoost、Bagging和随机子空间，均实现了稳定的性能提升。
• 结果验证了信息粒为集成学习中分类器不确定性的建模提供了更具合理性与可解释性的框架。