[论文解读] eAnt-Miner : An Ensemble Ant-Miner to Improve the ACO Classification

Gopinath Chennupati|arXiv (Cornell University)|Sep 9, 2014

Metaheuristic Optimization Algorithms Research参考文献 10被引用 4

一句话总结

本文提出 eAnt-Miner，一种基于集成的 Ant-Miner 分类器，通过将袋装法（bagging）应用于多个 Ant-Miner 变体，提升了基于 ACO 的规则归纳在稳定性和性能方面的表现。通过在自助采样训练集上训练多个模型，并采用多数投票方式聚合预测结果，eAnt-Miner 在 17 个 UCI 数据集上显著降低了分类误差，并增强了鲁棒性，其中 eATM 的表现优于当前最先进的 Ant-Miner 模型。

ABSTRACT

Ant Colony Optimization (ACO) has been applied in supervised learning in order to induce classification rules as well as decision trees, named Ant-Miners. Although these are competitive classifiers, the stability of these classifiers is an important concern that owes to their stochastic nature. In this paper, to address this issue, an acclaimed machine learning technique named, ensemble of classifiers is applied, where an ACO classifier is used as a base classifier to prepare the ensemble. The main trade-off is, the predictions in the new approach are determined by discovering a group of models as opposed to the single model classification. In essence, we prepare multiple models from the randomly replaced samples of training data from which, a unique model is prepared by aggregating the models to test the unseen data points. The main objective of this new approach is to increase the stability of the Ant-Miner results there by improving the performance of ACO classification. We found that the ensemble Ant-Miners significantly improved the stability by reducing the classification error on unseen data.

研究动机与目标

• 为解决 Ant-Miner 分类器在基于 ACO 的规则归纳中由于其随机性导致的不稳定性问题。
• 通过集成学习提升 Ant-Miner 变体的预测准确率和鲁棒性。
• 评估袋装法在降低基于 ACO 的分类中的分类误差并增强模型稳定性方面的有效性。
• 在多种基准数据集上对比集成 Ant-Miner 与单个 Ant-Miner 模型的性能。
• 识别在各种 Ant-Miner 变体中最具稳定性和准确性的集成配置。

提出的方法

• 所提出的 eAnt-Miner 框架将袋装法应用于多个 Ant-Miner 变体，包括 cAnt-Miner、cAnt-MinerPB、UcAnt-MinerPB 和 Ant-Tree-Miner。
• 针对每个基础 Ant-Miner 变体，在随机重采样且有放回的训练集上训练多个模型。
• 通过集成模型的多数投票方式做出最终预测，以提升稳定性并降低方差。
• 使用一种平衡准确率与规则复杂度的适应度函数来评估所发现规则的质量。
• 信息素更新规则遵循标准 ACO 原则，强化高质量规则中的术语，同时使其他术语发生蒸发。
• 通过 Shaffer 多重假设检验程序评估性能差异的统计显著性。

实验结果

研究问题

• RQ1 通过袋装法应用集成学习是否能显著降低 Ant-Miner 分类器的分类误差？
• RQ2 与单个模型相比，使用集成方法后 Ant-Miner 模型的稳定性如何变化？
• RQ3 在准确率和稳定性方面，哪种 Ant-Miner 变体从集成中获益最多？
• RQ4 在多种 UCI 数据集上，集成方法的性能提升是否具有统计显著性？
• RQ5 eAnt-Miner 是否能在测试误差和模型鲁棒性方面超越当前最先进的 Ant-Miner 变体？

主要发现

• 在分类误差方面，集成 Ant-Miner（eATM）显著优于单个 Ant-Tree-Miner（ATM）及其他所有 Ant-Miner 变体。
• eUcAnt-MinerPB 在成对比较中获得了最高的平均排名（6.51），表明其性能更优。
• Shaffer 程序确认，eUcAnt-MinerPB 显著优于 cAnt-Miner，p 值为 7.45e-11。
• 集成方法在全部 17 个 UCI 数据集上均降低了分类误差，增强了模型的稳定性和可靠性。
• eATM 在多分类器比较中取得了最佳整体表现，平均排名为 1.19，表明其准确率处于顶尖水平。
• 结果表明，集成方法能有效缓解基于 ACO 的分类器固有的随机不稳定性。