[论文解读] A theory of multiclass boosting

Indraneel Mukherjee, Robert E. Schapire|arXiv (Cornell University)|Aug 15, 2011

Imbalanced Data Classification Techniques参考文献 30被引用 26

一句话总结

本文通过识别一组既必要又充分的弱学习条件，为多类提升建立了统一的理论框架。研究表明，AdaBoost.MR 的条件恰好是必要且充分的，而其他算法如 AdaBoost.MH 和 SAMME 所依赖的条件则过强或过弱；本文进一步提出一种最优提升算法，在这些条件下能高效最小化训练误差。

ABSTRACT

Boosting combines weak classifiers to form highly accurate predictors. Although the case of binary classification is well understood, in the multiclass setting, the "correct" requirements on the weak classifier, or the notion of the most efficient boosting algorithms are missing. In this paper, we create a broad and general framework, within which we make precise and identify the optimal requirements on the weak-classifier, as well as design the most effective, in a certain sense, boosting algorithms that assume such requirements.

研究动机与目标

• 建立一个通用的多类提升理论框架，形式化提升算法与弱学习器之间的相互作用。
• 识别出多类问题中精确且最优的弱学习条件，既不过弱也不过强。
• 刻画现有多类提升算法（如 AdaBoost.MH、SAMME 和 AdaBoost.MR）的理论局限性。
• 设计一种在所识别最优条件下能高效最小化训练误差的提升算法。
• 证明所提出的弱学习条件家族在多类设置中对提升能力而言既必要又充分。

提出的方法

• 引入多类提升与漂移游戏框架之间的转换，使多类问题能够通过类似二元的博弈论原理进行分析。
• 基于略优于随机猜测的性能，定义了一组适用于多类设置的广义误差度量的弱学习条件家族。
• 通过转换将多类评分函数映射为类似二元的函数，从而可将已知的二元提升结果应用于多类情形。
• 应用漂移游戏理论推导出训练风险的界，表明所提出的算法实现了接近最优的收敛速率。
• 证明 AdaBoost.MR 的弱学习条件恰好是提升能力的必要且充分条件，而其他条件则或过强或过弱。
• 建立多类算法的经验风险与转换后二元算法之间的等价性，从而实现理论保证的直接传递。

实验结果

研究问题

• RQ1 多类提升的必要且充分的弱学习条件是什么？
• RQ2 现有多类提升算法（如 AdaBoost.MH、SAMME 和 AdaBoost.MR）在底层弱学习假设方面有何异同？
• RQ3 能否开发一个统一的理论框架以分析和比较多类提升算法？
• RQ4 是否存在一种最优的多类提升算法，能最高效地最小化训练误差？
• RQ5 如何将多类提升问题转化为类似二元问题，以利用现有的理论成果？

主要发现

• 本文提出的弱学习条件家族在多类提升能力方面既必要又充分，且每个条件仅要求性能略优于随机猜测。
• AdaBoost.MR 的弱学习条件恰好是提升能力的必要且充分条件，使其在现有算法中具有理论最优性。
• AdaBoost.MH 所使用的弱学习条件严格强于必要条件，意味着其对弱学习器施加了不必要的要求。
• SAMME 隐含假设的条件过弱，无法保证提升能力，因为满足该条件并不确保训练误差可被有效降低。
• 所提出的框架可推导出训练风险的紧致界，表明最优算法的误差界形式为 $\widetilde{\widehat{\rm risk}}(\widetilde{F}_{\widetilde{\alpha}}) \leq \inf \widetilde{\widehat{\rm risk}}(\widetilde{F}_{\widetilde{\beta}}) + C/T$。
• 通过转换，二元提升的理论保证（例如以高概率收敛至最优风险）被成功传递至多类设置，证明了 $\Pr[\text{risk}_D(\bar{\widetilde{F}}) \leq \inf \text{risk}_D(\widetilde{F}^\prime) + O(m^{-c})] \geq 1 - 1/m^2$。