[论文解读] Margin-Based Generalization Lower Bounds for Boosted Classifiers

Allan Grønlund, Lior Kamma+3 more|arXiv (Cornell University)|Sep 27, 2019

Face and Expression Recognition参考文献 16被引用 7

一句话总结

本文首次为提升分类器建立了基于边距的泛化误差下界，证明了Gao和Zhou（2013）提出的k阶边距界几乎紧致。通过构造在这些情况下泛化误差无法显著优于上界的困难实例，作者几乎弥合了投票分类器边距理论中的泛化误差理论差距。

ABSTRACT

Boosting is one of the most successful ideas in machine learning. The most well-accepted explanations for the low generalization error of boosting algorithms such as AdaBoost stem from margin theory. The study of margins in the context of boosting algorithms was initiated by Schapire, Freund, Bartlett and Lee (1998) and has inspired numerous boosting algorithms and generalization bounds. To date, the strongest known generalization (upper bound) is the $k$th margin bound of Gao and Zhou (2013). Despite the numerous generalization upper bounds that have been proved over the last two decades, nothing is known about the tightness of these bounds. In this paper, we give the first margin-based lower bounds on the generalization error of boosted classifiers. Our lower bounds nearly match the $k$th margin bound and thus almost settle the generalization performance of boosted classifiers in terms of margins.

研究动机与目标

• 弥合已知的泛化误差上界与未知的下界之间在提升分类器上的理论差距。
• 确定当前最强的已知上界——k阶边距界——是否几乎紧致。
• 探究基于边距的泛化误差是否可被根本性地从下界约束，而独立于算法设计。
• 探索除边距之外的自然参数是否能更好地解释提升方法中的实际泛化性能。

提出的方法

• 提出一种基于假设集上加权分布的困难训练实例构造方法，以模拟最坏情况下的边距行为。
• 使用一种修改后的AdaBoost风格算法（算法1）生成具有可控边距的投票分类器。
• 应用Rademacher复杂度和加权Rademacher变量和的尾部概率不等式，推导出泛化误差的随机下界。
• 采用双重方法：一个下界适用于任何生成投票分类器的算法，另一个则证明存在一个泛化性能差的分类器。
• 利用VC维有界且边距分布受控的假设集结构，推导出紧致的下界。
• 使用集中不等式和对数尺度，将边距大小、假设集复杂度与泛化误差关联起来。

实验结果

研究问题

• RQ1 k阶边距界——目前对泛化误差最强的已知上界——是否几乎紧致？
• RQ2 能否使用基于边距的度量，对提升分类器的泛化误差进行从下界的约束？
• RQ3 是否存在一个投票分类器，尽管在训练数据上具有较大的边距，但泛化性能仍很差？
• RQ4 是否可通过算法特定分析避免泛化界中的ln m因子？

主要发现

• 本文建立了几乎与Gao和Zhou（2013）提出的k阶边距界相匹配的基于边距的泛化误差下界，表明该上界几乎紧致。
• 对于任何生成投票分类器的提升算法，泛化误差的下界为Ω(√(ln |H| ln m)/(kθ²m))，其中k阶边距为θ。
• 更强的下界表明，存在一个投票分类器，其泛化误差至少为Ω(√(ln |H| ln m)/(kθ²m))，与上界仅相差对数因子。
• 这些下界几乎弥合了提升方法中基于边距的泛化误差上界与下界之间的理论差距。
• 结果表明，仅靠边距无法在k阶边距界之外解释泛化误差，暗示需要额外参数才能建立完整的理论体系。
• 第二个下界中的ln m因子无法通过算法特定分析消除，表明基于边距的理论存在根本性限制。