[论文解读] Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers

Abraham J. Wyner, Matthew Olson+2 more|arXiv (Cornell University)|Apr 28, 2015

Machine Learning and Data Classification参考文献 18被引用 59

一句话总结

本文提出，AdaBoost 和随机森林的成功并非与其对训练数据的完美插值能力相悖，恰恰相反，正是由于其通过自平均机制实现的插值能力。通过将两者均视为插值型自平均分类器——其中深度决策树实现局部拟合，再通过集成平均实现平滑——该研究挑战了传统观点，即插值会导致过拟合，表明这两种方法在无需正则化或早停的情况下仍能实现良好泛化。

ABSTRACT

There is a large literature explaining why AdaBoost is a successful classifier. The literature on AdaBoost focuses on classifier margins and boosting's interpretation as the optimization of an exponential likelihood function. These existing explanations, however, have been pointed out to be incomplete. A random forest is another popular ensemble method for which there is substantially less explanation in the literature. We introduce a novel perspective on AdaBoost and random forests that proposes that the two algorithms work for similar reasons. While both classifiers achieve similar predictive accuracy, random forests cannot be conceived as a direct optimization procedure. Rather, random forests is a self-averaging, interpolating algorithm which creates what we denote as a "spikey-smooth" classifier, and we view AdaBoost in the same light. We conjecture that both AdaBoost and random forests succeed because of this mechanism. We provide a number of examples and some theoretical justification to support this explanation. In the process, we question the conventional wisdom that suggests that boosting algorithms for classification require regularization or early stopping and should be limited to low complexity classes of learners, such as decision stumps. We conclude that boosting should be used like random forests: with large decision trees and without direct regularization or early stopping.

研究动机与目标

• 挑战传统统计观点，即插值会导致分类模型过拟合。
• 基于 AdaBoost 和随机森林共享的插值型自平均分类器特性，提出统一解释其成功的原因。
• 质疑在 AdaBoost 中长期使用的正则化与早停策略，主张当使用深度树时，这些手段并非必要。
• 通过实证结果表明，AdaBoost 和随机森林对标签噪声具有鲁棒性，支持其通过插值与平均实现的韧性。
• 将 AdaBoost 重新诠释为一种‘森林之森林’，通过迭代局部拟合实现平滑决策边界，而非作为边际优化或损失最小化算法。

提出的方法

• 将‘插值分类器’定义为能够完美拟合所有训练样本且无误差的算法。
• 将 AdaBoost 框架为加权深度决策树的集成，每棵深度树均对训练数据实现插值，形成‘森林之森林’。
• 引入‘尖峰平滑’分类器的概念：即插值模型，其决策边界通过多棵树之间的自平均实现平滑。
• 在多个 UCI 数据集上，通过 5% 标签噪声的实证实验，比较 AdaBoost、随机森林与 1-NN 的泛化误差增加情况。
• 对噪声条件下模型间误差率差异进行两样本 t 检验，评估其统计显著性。
• 通过迭代拟合分析 AdaBoost 的决策边界行为，表明后期迭代在未过拟合的前提下，对误分类点进行局部拟合的精细化调整。

实验结果

研究问题

• RQ1 为何 AdaBoost 和随机森林在完美插值训练数据的情况下仍能实现良好泛化？
• RQ2 尽管 AdaBoost 的起源基于优化，其成功是否可与随机森林通过相同机制解释？
• RQ3 在自平均机制存在的情况下，插值是否反而带来更好的泛化性能，与经典统计直觉相悖？
• RQ4 正则化或早停对 AdaBoost 是否必要？当使用深度树并完成全部迭代时，是否仍需这些手段？
• RQ5 AdaBoost 和随机森林在对标签噪声的鲁棒性方面与 1-NN 相比如何？这对其泛化机制有何启示？

主要发现

• 当 5% 的训练标签被翻转时，AdaBoost 和随机森林的测试误差均仅出现微小增加：在 Haberman 数据集上，AdaBoost 仅增加 0.13%，随机森林增加 0.52%。
• 在 breast_cancer 数据集上，AdaBoost 的误差增加 0.20%，随机森林增加 0.39%，均显著低于 1-NN 的 2.29% 增加（p < 0.01）。
• 在 voting 数据集上，AdaBoost 误差增加 1.63%，随机森林增加 0.30%，均显著优于 1-NN 的 2.71% 增加（p < 0.05）。
• 在 Pima 数据集上，AdaBoost（0.56%）和随机森林（0.45%）的误差增加均显著小于 1-NN（1.75%），且 p < 0.01。
• 在 German credit 数据集上，各模型在噪声条件下的误差增加无显著差异，但 AdaBoost 和随机森林仍优于 1-NN。
• 综合结果支持该假设：两种算法对标签噪声的鲁棒性源于其自平均与插值特性，而非边际最大化或损失最小化。