[论文解读] AOSO-LogitBoost: Adaptive One-Vs-One LogitBoost for Multi-Class Problem

Peng Sun, Mark D. Reid+1 more|arXiv (Cornell University)|Oct 18, 2011

Machine Learning and Algorithms参考文献 9被引用 4

一句话总结

该论文提出AOSO-LogitBoost，一种用于多分类的自适应一对一LogitBoost框架，通过使用向量树强制执行和为零约束，并采用针对类别对的自适应块坐标下降法来处理密集的海森矩阵，从而在ABC-LogitBoost的基础上实现改进。该方法通过每次仅选择两个类别进行优化，显著降低了计算开销，同时保持了模型保真度，在多个公开数据集上实现了更高的准确率和更快的收敛速度。

ABSTRACT

This paper presents an improvement to model learning when using multi-class LogitBoost for classification. Motivated by the statistical view, LogitBoost can be seen as additive tree regression. Two important factors in this setting are: 1) coupled classifier output due to a sum-to-zero constraint, and 2) the dense Hessian matrices that arise when computing tree node split gain and node value fittings. In general, this setting is too complicated for a tractable model learning algorithm. However, too aggressive simplification of the setting may lead to degraded performance. For example, the original LogitBoost is outperformed by ABC-LogitBoost due to the latter's more careful treatment of the above two factors. In this paper we propose techniques to address the two main difficulties of the LogitBoost setting: 1) we adopt a vector tree (i.e. each node value is vector) that enforces a sum-to-zero constraint, and 2) we use an adaptive block coordinate descent that exploits the dense Hessian when computing tree split gain and node values. Higher classification accuracy and faster convergence rates are observed for a range of public data sets when compared to both the original and the ABC-LogitBoost implementations.

研究动机与目标

• 解决多分类LogitBoost中分类器输出耦合与密集海森矩阵带来的挑战。
• 在原始LogitBoost和ABC-LogitBoost等现有方法的基础上，进一步提升分类准确率和收敛速度。
• 开发一种更高效的优化策略，避免完整海森矩阵的计算，同时保持模型性能。
• 实现对类别对的自适应、选择性优化，而非独立拟合所有类别。
• 为在和为零约束下实现加法树建模提供更具灵活性和可处理性的框架。

提出的方法

• 引入向量树，其中每个节点存储一个K维向量，以强制实现类别输出的和为零约束。
• 采用自适应一对一（AOSO）选择策略，为每个节点仅选择两个类别进行优化，从而降低计算复杂度。
• 对分裂增益和节点值拟合采用约束二次优化，仅基于选定的类别对进行。
• 采用带有自适应类别对选择的块坐标下降法，以高效近似密集海森矩阵。
• 通过所选类别对的损失减少的二阶近似，计算分裂增益和节点值更新。
• 通过在整个提升迭代过程中保持和为零约束，确保模型一致性。

实验结果

研究问题

• RQ1 自适应类别对选择是否能提升多分类LogitBoost的收敛速度和分类准确率？
• RQ2 与标量树方法相比，使用和为零约束的向量树如何影响模型性能？
• RQ3 通过AOSO实现的选择性海森矩阵近似在多大程度上降低了计算成本，而不会牺牲准确率？
• RQ4 在测试误差和收敛所需树的数量方面，AOSO-LogitBoost与ABC-LogitBoost相比表现如何？
• RQ5 AOSO-LogitBoost在某些基准数据集上是否优于SVM和深度学习等最先进分类器？

主要发现

• 在所有测试数据集上，AOSO-LogitBoost的测试误差率均低于原始LogitBoost和ABC-LogitBoost。
• 平均而言，AOSO-LogitBoost收敛所需的树数量仅为ABC-LogitBoost的55%至80%，表明收敛速度显著提升。
• 在Mnist10k数据集上，当J=20且v=0.1时，AOSO-LogitBoost使用的树数量仅为ABC-LogitBoost所需数量的76.89%。
• 在Poker25kT1和Poker25kT2数据集上，AOSO-LogitBoost的测试误差率低于10%，优于SVM（约40%误差）和ABC-LogitBoost。
• 统计检验确认，AOSO-LogitBoost相较于ABC-LogitBoost的性能提升具有显著性，大多数数据集的p值小于0.05。
• 即使在Letter15k和Letter4k等具有挑战性的数据集上，AOSO-LogitBoost也表现出一致的优越性，其所需树的数量仅为ABC-LogitBoost的55%。