[论文解读] A Direct Approach to Multi-class Boosting and Extensions

Chunhua Shen, Sakrapee Paisitkriangkrai+1 more|arXiv (Cornell University)|Oct 17, 2012

Domain Adaptation and Few-Shot Learning参考文献 19被引用 3

一句话总结

该论文提出了一种直接的、完全校正的多分类提升框架，通过将多分类问题整体优化而非分解为多个二分类子问题，实现了对多分类分类性能的优化。通过利用拉格朗日对偶性和列生成方法，该方法联合更新所有弱学习器权重，并通过混合范数正则化实现组稀疏性，从而在场景识别和交通标志识别基准上以更少的特征实现了最先进水平的准确率。

ABSTRACT

Boosting methods combine a set of moderately accurate weaklearners to form a highly accurate predictor. Despite the practical importance of multi-class boosting, it has received far less attention than its binary counterpart. In this work, we propose a fully-corrective multi-class boosting formulation which directly solves the multi-class problem without dividing it into multiple binary classification problems. In contrast, most previous multi-class boosting algorithms decompose a multi-boost problem into multiple binary boosting problems. By explicitly deriving the Lagrange dual of the primal optimization problem, we are able to construct a column generation-based fully-corrective approach to boosting which directly optimizes multi-class classification performance. The new approach not only updates all weak learners' coefficients at every iteration, but does so in a manner flexible enough to accommodate various loss functions and regularizations. For example, it enables us to introduce structural sparsity through mixed-norm regularization to promote group sparsity and feature sharing. Boosting with shared features is particularly beneficial in complex prediction problems where features can be expensive to compute. Our experiments on various data sets demonstrate that our direct multi-class boosting generalizes as well as, or better than, a range of competing multi-class boosting methods. The end result is a highly effective and compact ensemble classifier which can be trained in a distributed fashion.

研究动机与目标

• 解决与二分类提升相比，多分类提升方法缺乏有效性的现状。
• 提出一种直接的公式化方法，避免将多分类问题分解为多个二分类问题。
• 实现完全校正的优化，即同时更新所有弱学习器系数。
• 通过混合范数正则化引入结构稀疏性，以促进跨类别的特征共享。
• 设计一种可扩展的、适合分布式优化的提升框架，以应对复杂预测任务。

提出的方法

• 将多分类提升公式化为带有基于间隔损失函数的原始凸优化问题。
• 推导原始问题的拉格朗日对偶问题，以通过列生成实现高效的优化。
• 使用列生成方法，迭代地添加弱学习器，并以完全校正的方式同时更新所有系数。
• 将该方法推广至支持任意混合范数正则化（例如，ℓ1,2）以实现组稀疏性和特征共享。
• 通过结构稀疏性集成，识别多个类别之间的共用信息特征。
• 通过设计算法兼容交替方向乘子法（ADMM）和凸优化框架，实现分布式训练。

实验结果

研究问题

• RQ1 能否在不进行二元分解的情况下，直接形式化完全校正的多分类提升方法？
• RQ2 拉格朗日对偶性如何在多分类提升中实现高效且可扩展的优化？
• RQ3 混合范数正则化能否在多分类设置中有效促进组稀疏性和特征共享？
• RQ4 与现有多分类提升算法相比，所提方法是否实现了更好的泛化能力和模型紧凑性？
• RQ5 该方法是否能高效地并行化或分布式化，以应对大规模学习任务？

主要发现

• 在Scene 15数据集上，MultiBoost^group和MultiBoost^group_fast在仅使用1,000个特征的情况下，分别实现了77.8%和79.2%的准确率，优于所有对比的多分类提升方法。
• 在德国交通标志识别数据集上，MultiBoost^group使用500个特征实现了95.62%的准确率，超过了在6,308个特征上训练的线性SVM（93.05%）。
• 所提方法在显著更少的特征下，实现了与非线性SVM（81.47%）相当或更高的准确率。
• MultiBoost^group的收敛速度整体快于MultiBoost^ℓ1，表明其优化效率更高。
• 在MultiBoost^ℓ1中观察到过拟合现象，表明MultiBoost^group中的组稀疏性正则化有助于提升泛化能力。
• 该方法实现了跨类别的特征共享，例如交通标志中的共用形状，从而构建出更紧凑且高效的模型。