[论文解读] Enhanced version of AdaBoostM1 with J48 Tree learning method

Kyongche Kang, Jack Michalak|arXiv (Cornell University)|Feb 10, 2018

Imbalanced Data Classification Techniques参考文献 3被引用 8

一句话总结

该论文提出了一种改进的AdaBoostM1算法，采用J48（C4.5）决策树作为基学习器，并引入可调的权重阈值（P）和迭代次数（I）。通过优化这些参数，该方法在开发集上将平均错误率比从2.4降低至0.9，在评估集上从2.1降低至1.2，显著提升了基线AdaBoostM1（使用决策桩）的鲁棒性和分类性能。

ABSTRACT

Machine Learning focuses on the construction and study of systems that can learn from data. This is connected with the classification problem, which usually is what Machine Learning algorithms are designed to solve. When a machine learning method is used by people with no special expertise in machine learning, it is important that the method be robust in classification, in the sense that reasonable performance is obtained with minimal tuning of the problem at hand. Algorithms are evaluated based on how robust they can classify the given data. In this paper, we propose a quantifiable measure of robustness, and describe a particular learning method that is robust according to this measure in the context of classification problem. We proposed Adaptive Boosting (AdaBoostM1) with J48(C4.5 tree) as a base learner with tuning weight threshold (P) and number of iterations (I) for boosting algorithm. To benchmark the performance, we used the baseline classifier, AdaBoostM1 with Decision Stump as base learner without tuning parameters. By tuning parameters and using J48 as base learner, we are able to reduce the overall average error rate ratio (errorC/errorNB) from 2.4 to 0.9 for development sets of data and 2.1 to 1.2 for evaluation sets of data.

研究动机与目标

• 通过最小化手动调参，为非专家用户提供更鲁棒的机器学习分类器。
• 通过用更强大的J48决策树替换AdaBoostM1中的默认决策桩基学习器，提升分类准确率。
• 通过系统性调优关键超参数（权重阈值P和迭代次数I），量化并增强算法的鲁棒性。
• 在标准数据集上，将改进方法与基线AdaBoostM1（使用决策桩）进行基准对比。
• 证明使用J48进行参数调优可在开发集和评估集上均实现一致的性能提升。

提出的方法

• 所提出的方法在AdaBoostM1框架中使用J48决策树作为基学习器，而非决策桩。
• 引入两个可调超参数：样本重加权的权重阈值（P）和提升迭代次数（I）。
• 该算法迭代地在重加权的训练数据版本上训练弱学习器，更加关注被错误分类的实例。
• 最终预测结果为弱学习器的加权多数投票，权重由其准确率决定。
• 通过交叉验证进行参数调优，以最小化错误率为目标优化P和I。
• 鲁棒性通过所提方法（errorC）与朴素贝叶斯（errorNB）的错误率比值来衡量，比值越低表示性能越好。

实验结果

研究问题

• RQ1 在AdaBoostM1中用J48树替换决策桩，是否能在无需专家调参的情况下提升分类鲁棒性？
• RQ2 调优权重阈值（P）和迭代次数（I）如何影响所提方法与朴素贝叶斯之间的错误率比？
• RQ3 使用J48的增强型AdaBoostM1是否在开发集和评估集上均表现出一致的更好性能？
• RQ4 与使用决策桩的基线AdaBoostM1相比，参数调优在多大程度上降低了错误率比？
• RQ5 可量化的鲁棒性度量是否能有效用于评估和比较提升算法？

主要发现

• 在开发数据集上，使用J48和调优参数的增强型AdaBoostM1将平均错误率比（errorC/errorNB）从2.4降低至0.9。
• 在评估集上，错误率比从2.1降低至1.2，表明性能有显著提升。
• 所提方法在所有测试数据集上均优于基线AdaBoostM1（使用决策桩）。
• 调优权重阈值（P）和迭代次数（I）显著提升了分类准确率和鲁棒性。
• 使用J48作为基学习器产生了更准确的弱学习器，从而提升了整体集成性能。
• 可量化的鲁棒性度量有效捕捉到了参数调优和模型选择带来的性能增益。