[论文解读] Gradient tree boosting with random output projections for multi-label classification and multi-output regression

Arnaud Joly, Louis Wehenkel+1 more|arXiv (Cornell University)|May 18, 2019

Text and Document Classification Technologies参考文献 46被引用 8

一句话总结

该论文提出了一种用于多标签分类和多输出回归的新型梯度树提升框架，通过输出空间的随机投影，自适应地基于输出相关性共享树结构。通过拟合残差的单个随机投影并将其预测线性投影到所有输出上，该方法高效捕捉了相关依赖关系，同时保持计算效率，在多种数据集上优于二元相关性和联合树方法。

ABSTRACT

In many applications of supervised learning, multiple classification or regression outputs have to be predicted jointly. We consider several extensions of gradient boosting to address such problems. We first propose a straightforward adaptation of gradient boosting exploiting multiple output regression trees as base learners. We then argue that this method is only expected to be optimal when the outputs are fully correlated, as it forces the partitioning induced by the tree base learners to be shared by all outputs. We then propose a novel extension of gradient tree boosting to specifically address this issue. At each iteration of this new method, a regression tree structure is grown to fit a single random projection of the current residuals and the predictions of this tree are fitted linearly to the current residuals of all the outputs, independently. Because of this linear fit, the method can adapt automatically to any output correlation structure. Extensive experiments are conducted with this method, as well as other algorithmic variants, on several artificial and real problems. Randomly projecting the output space is shown to provide a better adaptation to different output correlation patterns and is therefore competitive with the best of the other methods in most settings. Thanks to model sharing, the convergence speed is also improved, reducing the computing times (or the complexity of the model) to reach a specific accuracy.

研究动机与目标

• 解决现有多输出学习方法的局限性，这些方法要么忽略输出相关性（如二元相关性），要么强制所有输出共享相同的树结构（如联合树）。
• 开发一种梯度提升扩展方法，通过使用输出空间的随机投影，动态适应输出之间的相关性结构。
• 通过仅在相关输出之间智能共享树结构，提升模型效率和收敛速度。
• 在多样化的多标签和多输出回归数据集上对方法进行实证评估，并与最先进基线方法进行比较。

提出的方法

• 在每次提升迭代中，构建一棵回归树以拟合所有输出上当前残差的单个随机投影。
• 然后将该树的预测结果独立地线性拟合到所有输出的残差上，从而实现对相关输出的选择性适应。
• 该方法使用随机投影以避免强制所有输出采用单一树结构，从而能够自然适应不同的相关性模式。
• 探索了两种变体：一种使用全局线性拟合，另一种对每个输出的树叶节点进行重标记以优化预测。
• 通过基于线性投影预测结果迭代更新残差，保持了提升框架的结构。
• 该方法在理论上通过训练数据上的收敛性证明得到支持，表明其能最小化整体损失函数。

实验结果

研究问题

• RQ1 输出空间的随机投影是否能够使梯度提升自适应地仅在相关输出之间共享树结构？
• RQ2 在多样化的多输出学习任务中，所提出方法与二元相关性和联合树方法相比性能如何？
• RQ3 与标准多输出提升方法相比，使用随机投影是否能提升收敛速度和模型效率？
• RQ4 该方法在多标签和多输出回归问题中，对不同相关性结构的泛化能力如何？

主要发现

• 所提出的方法，特别是 gbrt-rpo-gaussian 变体，在21个多标签数据集中的14个上取得了最佳或接近最佳性能，多个基准测试中在平均精度均值（mAP）上实现显著提升。
• 在医学和蛋白质相互作用数据集上，gbrt-rpo-gaussian 分别取得了 0.867±0.011 和 0.310±0.007 的 mAP 分数，优于所有基线方法。
• 在多输出回归任务中，该方法在8个数据集中的6个上达到最先进性能，gbrt-rpo-gaussian 变体在5个数据集上获得了最高的 R² 分数。
• 通过仅在输出相关时共享树结构，该方法减少了训练时间和模型复杂度，收敛速度优于标准的联合树方法。
• 重标记变体（gbrt-relabel-rpo-gaussian）在部分数据集上进一步提升了性能，表明输出特定的优化可增强泛化能力。
• 实证结果证实，随机投影使模型能够自动检测并利用输出相关性，优于独立学习和完全共享树结构的学习策略。