[论文解读] Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity

Arnaud Joly|arXiv (Cornell University)|Apr 26, 2017

Neural Networks and Applications参考文献 4被引用 6

一句话总结

本论文提出新颖方法，以增强随机森林与梯度提升在多标签/多输出学习、模型压缩及稀疏输入处理方面的性能。通过利用随机投影实现输出空间维度压缩，并结合稀疏性感知算法，该方法在保持或提升准确率的同时，显著降低计算成本与内存使用，适用于生物、文本、图像及视频等多样化数据集。

ABSTRACT

Within machine learning, the supervised learning field aims at modeling the input-output relationship of a system, from past observations of its behavior. Decision trees characterize the input-output relationship through a series of nested $if-then-else$ questions, the testing nodes, leading to a set of predictions, the leaf nodes. Several of such trees are often combined together for state-of-the-art performance: random forest ensembles average the predictions of randomized decision trees trained independently in parallel, while tree boosting ensembles train decision trees sequentially to refine the predictions made by the previous ones. The emergence of new applications requires scalable supervised learning algorithms in terms of computational power and memory space with respect to the number of inputs, outputs, and observations without sacrificing accuracy. In this thesis, we identify three main areas where decision tree methods could be improved for which we provide and evaluate original algorithmic solutions: (i) learning over high dimensional output spaces, (ii) learning with large sample datasets and stringent memory constraints at prediction time and (iii) learning over high dimensional sparse input spaces.

研究动机与目标

• 解决现代机器学习应用中高维输出空间下决策树集成方法的可扩展性问题。
• 在严格预测时内存约束下，降低随机森林模型的内存与计算成本。
• 提升决策树方法在高维稀疏输入数据上的效率与准确率，此类数据在文本与自然语言处理任务中具有典型性。
• 通过基于随机投影的维度压缩，捕捉输出相关性，实现有效的多输出学习。
• 提出一种系统化、正则化的大型随机森林集成模型压缩方法，同时不损失预测性能。

提出的方法

• 在多标签与多输出任务中应用随机投影以降低输出空间维度，从而加速随机森林的训练过程。
• 通过在所有输出上构建联合优化目标，将梯度提升方法扩展至多输出学习，并随后利用随机投影以适应不同的输出相关性结构。
• 通过在节点指示函数上施加ℓ₁-正则化，对随机森林集成模型进行压缩，仅保留最相关的树与节点。
• 设计针对稀疏输入的决策树算法，通过使用压缩稀疏行（CSR）格式及优化的分裂评估流程，有效利用输入稀疏性。
• 在训练与预测阶段均集成稀疏性感知计算，以减少内存使用并加速稀疏输入的处理速度。
• 在梯度提升中采用联合优化框架，保持输出间相关性结构的同时，通过随机投影实现高效的低秩近似。

实验结果

研究问题

• RQ1 在不降低准确率的前提下，输出空间的随机投影能否提升随机森林在多输出学习中的效率？
• RQ2 如何有效扩展梯度提升方法以支持多输出回归与多标签分类，同时适应不同的输出相关性结构？
• RQ3 在不损失预测性能的前提下，通过在节点指示函数上施加ℓ₁-正则化，大型随机森林集成模型最多可压缩至何种程度？
• RQ4 通过算法层面利用输入稀疏性，能否在不改变模型准确率的前提下显著减少决策树方法的训练与推理时间？
• RQ5 在高维场景下，随机投影与稀疏性感知处理相结合，对树基模型的整体可扩展性有何影响？

主要发现

• 对输出空间进行随机投影，使随机森林在多输出任务中的训练时间最多减少50%，同时由于有利的偏差-方差权衡，准确率保持不变或略有提升。
• 所提出的梯度提升多输出学习扩展方法在多样化数据集上表现出具有竞争力的性能，其中随机投影使模型能自动适应输出相关性结构。
• 通过ℓ₁-正则化实现的模型压缩，使随机森林集成模型大小最多减少70%，且预测准确率损失极小，使其在严格内存约束下依然可行。
• 稀疏性感知的决策树实现相较于密集实现，在合成数据集与真实世界稀疏数据集（如文本与图像数据）上实现了最高达4倍的加速，且模型性能完全一致。
• 随机投影与稀疏性感知处理的结合，在所有评估数据集（包括高维数据集如EUR-Lex，含3993个标签）中均显著降低了内存使用与训练时间。
• 在MEDLINE与Bibtex数据集上，所提方法在F1-macro与汉明损失指标上优于标准基线模型，尤其在高输出与高稀疏输入场景下表现更优。