[论文解读] Comparison of 14 different families of classification algorithms on 115 binary datasets

Jacques Wainer|Deep Blue (University of Michigan)|Jun 2, 2016

Machine Learning and ELM参考文献 19被引用 61

一句话总结

本研究在115个二元数据集上对14类分类算法家族进行了严格超参数调优和统计分析。结果表明，随机森林、梯度提升机（gbm）和RBF SVM表现最佳，其错误率差异在实际意义上可忽略不计（阈值：0.0112），而RBF SVM在训练和推理速度上显著更快。

ABSTRACT

We tested 14 very different classification algorithms (random forest, gradient boosting machines, SVM - linear, polynomial, and RBF - 1-hidden-layer neural nets, extreme learning machines, k-nearest neighbors and a bagging of knn, naive Bayes, learning vector quantization, elastic net logistic regression, sparse linear discriminant analysis, and a boosting of linear classifiers) on 115 real life binary datasets. We followed the Demsar analysis and found that the three best classifiers (random forest, gbm and RBF SVM) are not significantly different from each other. We also discuss that a change of less then 0.0112 in the error rate should be considered as an irrelevant change, and used a Bayesian ANOVA analysis to conclude that with high probability the differences between these three classifiers is not of practical consequence. We also verified the execution time of "standard implementations" of these algorithms and concluded that RBF SVM is the fastest (significantly so) both in training time and in training plus testing time.

研究动机与目标

• 在真实世界的二元数据集上，对14种多样化的分类算法家族进行严格超参数调优后的比较。
• 识别在二元分类任务中准确率最高且效率最优的算法。
• 建立错误率差异的实用无关性阈值（0.0112），以指导算法选择。
• 应用贝叶斯方差分析评估顶级算法间性能差异的实际意义。
• 通过聚焦于二元问题和标准实现方式，解决先前研究的局限性，如默认超参数和多分类扩展。

提出的方法

• 本研究使用来自UCI存储库的115个二元数据集，将多分类问题转换为二分类问题。
• 每种算法均使用精心选择的超参数范围进行调优，避免使用默认值以提升性能。
• 采用Demsar程序对算法性能进行非参数统计比较。
• 使用贝叶斯方差分析模型评估性能差异在实际中是否可忽略。
• 0.0112的错误率差异阈值基于效应量考虑得出，并用于定义实际无关性。
• 使用标准R实现测量执行时间，以比较训练和推理效率。

实验结果

研究问题

• RQ1 当超参数被最优调优时，哪些分类算法家族在二元数据集上达到最高准确率？
• RQ2 顶级算法之间的性能差异是否具有实际显著性，还是可忽略不计？
• RQ3 在标准实现下，顶级算法的训练和推理时间如何比较？
• RQ4 贝叶斯方差分析模型能否有效评估小错误率差异的实际相关性？
• RQ5 与先前的大规模比较研究相比，排除多分类扩展并专注于二元问题是否导致不同的结论？

主要发现

• 随机森林、梯度提升机（gbm）和RBF SVM是表现最佳的三种算法，其错误率无统计显著差异。
• 这三种算法之间的错误率差异低于0.0112的实际无关性阈值，表明其性能无实质性区别。
• 在训练和训练加测试时间上，RBF SVM均显著快于随机森林和gbm。
• 多项式核SVM、极限学习机和单隐藏层神经网络表现相似，且不显著优于前三名。
• 贝叶斯方差分析以高概率确认，顶级三种算法之间的差异在实际中不具后果性。
• 本研究发现，亟需更优的超参数选择方法，特别是针对随机森林和梯度提升机，这些算法缺乏系统性调优研究。